ประเด็นสำคัญ
- ChatOpenAI รับ base_url, api_key และ model ดังนั้นจุดปลายที่เข้ากันได้กับ OpenAI จึงใช้งานได้
- ใช้ base URL https://api.uncensoredllmhub.com/v1 และโมเดล uncensored
- รองรับ tool calling; สำหรับ structured output โหมด JSON เป็นวิธีที่ปลอดภัยที่สุด
- เคารพขีดจำกัด: คำขอพร้อมกัน 8 คำขอต่อคีย์เต็ม ดังนั้นให้จำกัด batch concurrency
ติดตั้งและเชื่อมต่อ
การผสานรวม OpenAI ของ LangChain เป็นแพ็กเกจแยกจากไลบรารีหลัก ติดตั้งด้วย pip install langchain-openai รับคีย์จาก หน้า API key; ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียว ไม่ต้องใช้บัตร
จากนั้นสร้างวัตถุโมเดล มีสามอาร์กิวเมนต์สำคัญ: model, base_url และ api_key
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a lighthouse cat.").content)นี่คือการผสานรวมทั้งหมด ส่วนต่อท้ายอย่างเช่น พรอมต์ ตัวแยกวิเคราะห์ เอเจนต์ และตัวดึงข้อมูล จะใช้ llm เหมือนกับโมเดลแชทอื่นๆ หากคุณชอบใช้ตัวแปรสภาพแวดล้อม SDK ของ OpenAI จะอ่านค่า OPENAI_API_KEY และ OPENAI_BASE_URL ซึ่งทำให้สลับระหว่างสภาพแวดล้อมได้ง่ายโดยไม่ต้องแก้ไขโค้ด
สิ่งที่ endpoint รองรับ
บริการเปิดเผย POST /v1/chat/completions, POST /v1/responses และ GET /v1/models ChatOpenAI ใช้ chat completions เป็นค่าเริ่มต้น ซึ่งเป็นตัวเลือกที่ปลอดภัย โมเดลเป็นโมเดลแบบเปิดน้ำหนักที่ปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย พร้อมหน้าต่างบริบทขนาด 100,000 โทเคนที่ใช้ร่วมกันระหว่างพรอมต์และการสร้างผลลัพธ์
ฟีเจอร์คำขอที่รองรับซึ่ง LangChain ใช้: สตรีมมิงผ่าน SSE พร้อม usage ที่ส่วนท้าย, function calling, โหมด JSON และพารามิเตอร์การสุ่มตัวอย่าง temperature, top_p, stop, seed และค่าปรับต่างๆ ที่ไม่รองรับ: embeddings, การสร้างภาพหรือเสียง, fine-tuning หาก retrieval chain ต้องการ embeddings ให้ใช้โมเดล embedding อื่นสำหรับขั้นตอนนี้และใช้เอนด์พอยต์นี้สำหรับการสร้างข้อความ บันทึกพารามิเตอร์เต็มรูปแบบอยู่ใน เอกสาร
พรอมต์ โมเดล และตัวแยกวิเคราะห์
รูปแบบพื้นฐานของ LCEL จะส่งพรอมต์เข้าโมเดล แล้วส่งไปยังตัวแยกวิเคราะห์ผลลัพธ์ การสตรีมมิงมาพร้อมกับการใช้ .stream()
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You are a concise editor. Reply in {tone} tone."),
("human", "Improve this sentence: {text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))
for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
print(piece, end="", flush=True)ข้อความระบบกำหนดพฤติกรรมสำหรับการเรียกใช้ทุกครั้ง เนื่องจากหน้าต่างบริบทมีขนาดใหญ่ คุณสามารถป้อนข้อความอ้างอิงยาวผ่านพรอมต์เทมเพลตได้โดยไม่ต้องใช้ตัวแบ่งข้อความในหลายกรณี ค่าอินพุตคือ $0.15 ต่อ 1M โทเคน ดังนั้นเอกสารขนาด 20,000 โทเคนในพรอมต์จะมีค่าใช้จ่าย 20,000 / 1,000,000 x $0.15 = $0.003 ต่อการเรียกใช้
การเรียกใช้ฟังก์ชัน
การเรียกใช้ฟังก์ชันปฏิบัติตามรูปแบบของ OpenAI: คุณส่งคำจำกัดความของฟังก์ชัน โมเดลจะตอบกลับด้วย tool_calls คุณเรียกใช้ฟังก์ชันและส่งผลลัพธ์กลับเป็นข้อความที่มีบทบาท tool LangChain ห่อหุ้มสิ่งนี้ไว้ใน bind_tools
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def add(a: int, b: int) -> int:
"""Add two integers."""
return a + b
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])
msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
print(call["name"], call["args"]) # run the function yourself, then send a ToolMessage backโมเดลจะร้องขอการเรียกใช้; โค้ดของคุณจะดำเนินการ ในเฟรมเวิร์ก agent เช่น LangGraph ลูปจะดำเนินการนี้ให้คุณจนกว่าโมเดลจะตอบเป็นข้อความธรรมดา ให้คำอธิบายฟังก์ชันสั้นๆ และชื่ออาร์กิวเมนต์เรียบง่าย หากโมเดลเพิกเฉยต่อฟังก์ชัน ให้ปรับ docstring ให้แคบลงและตั้งค่า tool_choice เพื่อบังคับการเรียกใช้ขณะแก้ไขข้อบกพร่อง
ผลลัพธ์ที่มีโครงสร้างด้วยโหมด JSON
เอนด์พอยต์รองรับโหมด JSON, response_format: {"type":"json_object"} ใน LangChain ให้ขอผ่าน with_structured_output และเลือกวิธีการโหมด JSON จากนั้นตรวจสอบด้วยโมเดล Pydantic
from pydantic import BaseModel
from langchain_openai import ChatOpenAI
class Ticket(BaseModel):
title: str
priority: str
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")
print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))สองนิสัยทำให้ JSON น่าเชื่อถือ ประการแรก ให้ระบุ "JSON" และตั้งชื่อคีย์ในพรอมต์ เนื่องจากโหมด JSON รับประกันไวยากรณ์ที่ถูกต้องแต่ไม่รับประกันสคีมาของคุณ ประการที่สอง ให้ห่อการเรียกด้วยรีไทร์ที่ดักจับข้อผิดพลาดจากการตรวจสอบและส่งข้อความข้อผิดพลาดกลับไปยังโมเดลหนึ่งครั้ง อย่าพึ่งพาการถอดรหัสที่จำกัดด้วยสคีมาเว้นแต่คุณจะได้ทดสอบกับเอนด์พอยต์นี้แล้ว
ความพร้อมใช้งานพร้อมกัน การรีไทร์ และการควบคุมต้นทุน
LangChain ทำให้การเรียกแบบขนานทำได้ง่ายด้วย .batch() และนั่นคือจุดที่ขีดจำกัดมีผล คีย์แบบเต็มอนุญาตให้คำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที คีย์ทดลองอนุญาตให้ 2 และ 60 ส่ง config={"max_concurrency": 6} ไปยัง batch เพื่อให้คุณอยู่ภายใต้ขีดจำกัด
เมื่อเกินขีดจำกัด API จะส่ง HTTP 429 พร้อมโค้ด rate_limited หรือ concurrency และส่วนหัว Retry-After: 5 เมื่อโหลดเกินชั่วคราว ChatOpenAI มีอาร์กิวเมนต์ max_retries ที่จัดการสิ่งเหล่านี้ด้วยการถอยหลัง; ตั้งค่าเป็น 3 ถึง 5 สตรีมจะครอบครองช่องจนกว่าจะเสร็จสิ้น ดังนั้นอย่าปล่อยสตรีมที่อ่านไม่ครบให้เปิดอยู่
ตัวอย่างการคำนวณต้นทุน: งานแบทช์ของรายการ 2,000 รายการ แต่ละรายการมีโทเคนอินพุต 800 และโทเคนเอาต์พุต 150 อินพุต: 2,000 x 800 = 1,600,000 โทเคน = 1.6 x $0.15 = $0.24 เอาต์พุต: 2,000 x 150 = 300,000 โทเคน = 0.3 x $0.50 = $0.15 งานนี้มีค่าใช้จ่าย $0.39 คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และส่วนหัว X-Balance-USD ช่วยให้คุณติดตามยอดคงเหลือของคุณ ดู ราคา สำหรับการเติมเงิน ซึ่งเริ่มต้นที่ $20 ถึง $500 และสามารถชำระด้วยคริปโต
เอเจนต์และหน่วยความจำการสนทนา
มีสองรูปแบบที่ปรากฏขึ้นทันทีหลังจากที่ chain แรกทำงานได้สำเร็จ รูปแบบแรกคือความจำการสนทนา ตัวช่วยประวัติข้อความของ LangChain จะเก็บการสนทนาในอดีตและเพิ่มไว้ข้างหน้าของการเรียกใช้ทุกครั้ง เนื่องจากหน้าต่างมีขนาด 100,000 โทเคน คุณสามารถเก็บประวัติที่ยาวได้ แต่โปรดจำไว้ว่าการสนทนาแต่ละครั้งจะส่งประวัติทั้งหมดอีกครั้ง ประวัติความยาว 30,000 โทเคนบนการสนทนา 50 ครั้งหมายถึง 1,500,000 โทเคนอินพุต หรือ 1.5 x $0.15 = $0.225 สำหรับเซสชัน การสรุปการสนทนาเก่าเมื่อประวัติเกินขีดจำกัดขนาดจะช่วยให้ค่าใช้จ่ายคงที่
รูปแบบที่สองคือลูปเอเจนต์ ใน LangGraph เอเจนต์ที่สร้างไว้ล่วงหน้าจะรับออบเจกต์ llm เดียวกันพร้อมกับรายการเครื่องมือและทำซ้ำจนกว่าโมเดลจะหยุดขอเครื่องมือ ตั้งจำนวนขั้นตอนสูงสุดเพื่อให้ลูปที่สับสนไม่สามารถเพิ่มโทเคนอินพุตได้ บันทึกส่วนหัวตอบกลับ X-Request-Id สำหรับการเรียกใดๆ ที่ทำงานผิดปกติ เนื่องจากเป็นรหัสที่ต้องอ้างอิงหากคุณติดต่อ ฝ่ายสนับสนุน
การแก้ไขปัญหา
- 404 ทุกการเรียก Base URL ต้องลงท้ายด้วย
/v1และต้องไม่รวม/chat/completions - ไม่พบโมเดล ใช้
uncensoredให้ถูกต้อง LangChain ไม่ตรวจสอบชื่อโมเดลสำหรับเอนด์พอยต์ที่กำหนดเอง - คำเตือนการนับโทเคน คุณสมบัติ LangChain บางรายการประมาณการโทเคนด้วยโทเคนไนเซอร์ของ OpenAI จำนวนอาจแตกต่างจากโมเดลจริงเล็กน้อย ดังนั้นให้พึ่งพาข้อมูลการใช้งานที่ส่งโดย API
- ลูปเอเจนต์ที่ยาวมีค่าใช้จ่ายสูง แต่ละลูปจะส่งประวัติทั้งหมดใหม่ ตัดเอาต์พุตเครื่องมือเก่าออกก่อนจะถึงคำขอถัดไป
หากเชนของคุณดูถูกต้องแต่ยังล้มเหลว ให้เรียกเอนด์พอยต์ด้วย curl ธรรมดาเพื่อแยกปัญหา LangChain ออกจากปัญหาบัญชี

