重點摘要
- ChatOpenAI 接受 base_url、api_key 與 model,因此任何 OpenAI 相容端點皆可運作。
- 使用 Base URL https://api.uncensoredllmhub.com/v1 與模型 uncensored。
- 支援函式呼叫;對於結構化輸出,JSON 模式是最安全的方法。
- 遵守限制:完整金鑰允許 8 個並行請求,因此請限制批次並行數。
安裝與連接
LangChain 的 OpenAI 整合是獨立於核心函式庫的套件。請使用 pip install langchain-openai 安裝。從 API 金鑰頁面 取得金鑰;新用戶可點擊一次領取 $0.50 的免費試用額度,無需信用卡。
接著建立模型物件。有三個參數很重要:model、base_url 與 api_key。
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a lighthouse cat.").content)這就是整個整合。所有下游元件(如提示詞、解析器、代理程式與檢索器)都會將 llm 視為一般聊天模型。如果你偏好使用環境變數,OpenAI SDK 會讀取 OPENAI_API_KEY 與 OPENAI_BASE_URL,這使得在不更動程式碼的情況下切換環境變得輕鬆。
端點支援功能
該服務提供 POST /v1/chat/completions、POST /v1/responses 與 GET /v1/models。ChatOpenAI 預設使用聊天完成,這是安全的選擇。該模型是一種開放權重模型,針對合法成人用途進行微調,以在無內容審查的情況下回答問題,並擁有 100,000 token 的上下文視窗,提示詞與完成內容共用此視窗。
LangChain 依賴的支援請求功能包括:透過 SSE 進行串流輸出並在結尾提供用量資訊、函式呼叫、JSON 模式,以及採樣參數 temperature、top_p、stop、seed 與懲罰因子。不可用的功能包括:嵌入、影像或音訊生成、微調。如果檢索鏈需要嵌入,請在該步驟使用不同的嵌入模型,並將此端點用於生成。完整參數說明請見 文件。
提示詞、模型與解析器
基本的 LCEL 模式將提示詞輸入模型,然後輸入輸出解析器。串流輸出透過 .stream() 自動獲得。
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You are a concise editor. Reply in {tone} tone."),
("human", "Improve this sentence: {text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))
for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
print(piece, end="", flush=True)系統訊息為每次呼叫設定行為。由於上下文視窗很大,在許多情況下你可以透過提示詞模板輸入長參考文本而無需分割器。輸入成本為每 1M token $0.15,因此提示詞中的 20,000 token 文件每次呼叫成本為 20,000 / 1,000,000 x $0.15 = $0.003。
函式呼叫
函式呼叫遵循 OpenAI 格式:你傳遞函式定義,模型以 tool_calls 回應,你執行函式並以 tool role 的訊息回傳結果。LangChain 將此包裝在 bind_tools 中。
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def add(a: int, b: int) -> int:
"""Add two integers."""
return a + b
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])
msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
print(call["name"], call["args"]) # run the function yourself, then send a ToolMessage back模型會要求呼叫;你的程式碼負責執行。在 LangGraph 等代理框架中,迴圈會自動執行此動作,直到模型以純文字回答為止。保持函式說明簡短,參數名稱保持簡單。如果模型忽略某個工具,請縮短 docstring 並設定 tool_choice 以強制呼叫,以便除錯。
使用 JSON 模式的結構化輸出
該端點支援 JSON 模式,response_format: {"type":"json_object"}。在 LangChain 中,請透過 with_structured_output 要求它,並選擇 JSON 模式方法,然後使用 Pydantic 模型進行驗證。
from pydantic import BaseModel
from langchain_openai import ChatOpenAI
class Ticket(BaseModel):
title: str
priority: str
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")
print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))兩個習慣可使 JSON 可靠。首先,在提示詞中說明「JSON」並命名鍵,因為 JSON 模式保證語法有效,但不保證你的結構。其次,將呼叫放入重試邏輯中,捕獲驗證錯誤並將錯誤文字回傳給模型一次。除非你已針對此端點測試過,否則不要依賴受結構限制的解碼。
並行、重試與成本控管
LangChain 透過 .batch() 輕鬆實現並行呼叫,這也是限制生效的地方。完整金鑰允許 8 個並行請求與每分鐘 300 個請求。試用金鑰允許 2 個與每分鐘 60 個。傳遞 config={"max_concurrency": 6} 給 batch,以保持低於上限。
當超過限制時,API 會回傳 HTTP 429,程式碼為 rate_limited 或 concurrency,並在暫時過載時帶有 Retry-After: 5 標頭。ChatOpenAI 具有 max_retries 參數,可透過退避機制處理這些情況;將其設為 3 到 5。串流會佔用槽位直到完成,因此不要讓半讀取的串流保持開啟。
成本範例:2,000 項的批次工作,每項包含 800 個輸入 token 與 150 個輸出 token。輸入:2,000 x 800 = 1,600,000 tokens = 1.6 x $0.15 = $0.24。輸出:2,000 x 150 = 300,000 tokens = 0.3 x $0.50 = $0.15。該工作成本為 $0.39。失敗或遭拒的請求不會收費,且 X-Balance-USD 標頭讓你隨時監控餘額。請見 定價 了解儲值,金額從 $20 到 $500 不等,可透過加密貨幣支付。
代理程式與對話記憶
第一個鏈運作後會出現兩種模式。第一種是對話記憶。LangChain 的訊息歷史輔助工具會儲存過去的對話輪次,並將它們前置附加到每次呼叫中。由於上下文視窗為 100,000 token,你可以保留長歷史,但請記住,每一輪都會重新傳送這些內容。若 50 輪中每輪都有 30,000 token 的歷史,則會產生 1,500,000 個輸入 token,或該次會話需支付 1.5 x $0.15 = $0.225。當歷史超過大小限制時,對舊輪次進行摘要可讓費用保持穩定。
第二種是代理迴圈。在 LangGraph 中,預建代理程式接受相同的 llm 物件加上工具列表,並迴圈直到模型停止要求工具為止。設定最大步驟數,以免因困惑而導致迴圈無限運行並消耗過多輸入 token。記錄 X-Request-Id 回應標頭,以備任何異常呼叫,因為這是聯繫 支援 時需引用的識別碼。
故障排除
- 每次呼叫都出現 404。 基礎 URL 必須以
/v1結尾,且不得包含/chat/completions。 - 找不到模型。 請精確使用
uncensored。LangChain 不會驗證自訂端點的模型名稱。 - Token 計數警告。 某些 LangChain 功能使用 OpenAI tokenizers 估算 token。計數可能與實際模型略有不同,因此請依賴 API 回傳的用量資訊。
- 長代理迴圈會產生高成本。 每次迴圈都會重新傳送完整歷史。在下次呼叫前修剪舊的工具輸出。
如果你的鏈看起來正確但仍失敗,請使用 curl 呼叫端點,以區分是 LangChain 的問題還是帳戶的問題。

