繁中 ▾

從試用額度開始

電子郵件和密碼,金鑰立即顯示在畫面上。

https://api.uncensoredllmhub.com/v1

LLM API 搭配 LangChain:連接自訂端點

設定 LLM API LangChain 只需 ChatOpenAI、Base URL、金鑰與模型 ID。本頁展示針對此 OpenAI 相容端點的鏈、串流輸出、函式呼叫與結構化輸出,並提供可複製的程式碼。

更新於

連接至伺服器立方體的玻璃鏈接,說明 LangChain 鏈呼叫自訂 LLM 端點
伺服器機櫃與天平,旁邊有硬幣與發光的雲端,比較自行託管與 API

重點摘要

  • ChatOpenAI 接受 base_url、api_key 與 model,因此任何 OpenAI 相容端點皆可運作。
  • 使用 Base URL https://api.uncensoredllmhub.com/v1 與模型 uncensored。
  • 支援函式呼叫;對於結構化輸出,JSON 模式是最安全的方法。
  • 遵守限制:完整金鑰允許 8 個並行請求,因此請限制批次並行數。

安裝與連接

LangChain 的 OpenAI 整合是獨立於核心函式庫的套件。請使用 pip install langchain-openai 安裝。從 API 金鑰頁面 取得金鑰;新用戶可點擊一次領取 $0.50 的免費試用額度,無需信用卡。

接著建立模型物件。有三個參數很重要:model、base_url 與 api_key。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

這就是整個整合。所有下游元件(如提示詞、解析器、代理程式與檢索器)都會將 llm 視為一般聊天模型。如果你偏好使用環境變數,OpenAI SDK 會讀取 OPENAI_API_KEY 與 OPENAI_BASE_URL,這使得在不更動程式碼的情況下切換環境變得輕鬆。

端點支援功能

該服務提供 POST /v1/chat/completions、POST /v1/responses 與 GET /v1/models。ChatOpenAI 預設使用聊天完成,這是安全的選擇。該模型是一種開放權重模型,針對合法成人用途進行微調,以在無內容審查的情況下回答問題,並擁有 100,000 token 的上下文視窗,提示詞與完成內容共用此視窗。

LangChain 依賴的支援請求功能包括:透過 SSE 進行串流輸出並在結尾提供用量資訊、函式呼叫、JSON 模式,以及採樣參數 temperature、top_p、stop、seed 與懲罰因子。不可用的功能包括:嵌入、影像或音訊生成、微調。如果檢索鏈需要嵌入,請在該步驟使用不同的嵌入模型,並將此端點用於生成。完整參數說明請見 文件。

提示詞、模型與解析器

基本的 LCEL 模式將提示詞輸入模型,然後輸入輸出解析器。串流輸出透過 .stream() 自動獲得。

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

系統訊息為每次呼叫設定行為。由於上下文視窗很大,在許多情況下你可以透過提示詞模板輸入長參考文本而無需分割器。輸入成本為每 1M token $0.15,因此提示詞中的 20,000 token 文件每次呼叫成本為 20,000 / 1,000,000 x $0.15 = $0.003。

函式呼叫

函式呼叫遵循 OpenAI 格式:你傳遞函式定義,模型以 tool_calls 回應,你執行函式並以 tool role 的訊息回傳結果。LangChain 將此包裝在 bind_tools 中。

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

模型會要求呼叫;你的程式碼負責執行。在 LangGraph 等代理框架中,迴圈會自動執行此動作,直到模型以純文字回答為止。保持函式說明簡短,參數名稱保持簡單。如果模型忽略某個工具,請縮短 docstring 並設定 tool_choice 以強制呼叫,以便除錯。

使用 JSON 模式的結構化輸出

該端點支援 JSON 模式,response_format: {"type":"json_object"}。在 LangChain 中,請透過 with_structured_output 要求它,並選擇 JSON 模式方法,然後使用 Pydantic 模型進行驗證。

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

兩個習慣可使 JSON 可靠。首先,在提示詞中說明「JSON」並命名鍵,因為 JSON 模式保證語法有效,但不保證你的結構。其次,將呼叫放入重試邏輯中,捕獲驗證錯誤並將錯誤文字回傳給模型一次。除非你已針對此端點測試過,否則不要依賴受結構限制的解碼。

並行、重試與成本控管

LangChain 透過 .batch() 輕鬆實現並行呼叫,這也是限制生效的地方。完整金鑰允許 8 個並行請求與每分鐘 300 個請求。試用金鑰允許 2 個與每分鐘 60 個。傳遞 config={"max_concurrency": 6} 給 batch,以保持低於上限。

當超過限制時,API 會回傳 HTTP 429,程式碼為 rate_limited 或 concurrency,並在暫時過載時帶有 Retry-After: 5 標頭。ChatOpenAI 具有 max_retries 參數,可透過退避機制處理這些情況;將其設為 3 到 5。串流會佔用槽位直到完成,因此不要讓半讀取的串流保持開啟。

成本範例:2,000 項的批次工作,每項包含 800 個輸入 token 與 150 個輸出 token。輸入:2,000 x 800 = 1,600,000 tokens = 1.6 x $0.15 = $0.24。輸出:2,000 x 150 = 300,000 tokens = 0.3 x $0.50 = $0.15。該工作成本為 $0.39。失敗或遭拒的請求不會收費,且 X-Balance-USD 標頭讓你隨時監控餘額。請見 定價 了解儲值,金額從 $20 到 $500 不等,可透過加密貨幣支付。

代理程式與對話記憶

第一個鏈運作後會出現兩種模式。第一種是對話記憶。LangChain 的訊息歷史輔助工具會儲存過去的對話輪次,並將它們前置附加到每次呼叫中。由於上下文視窗為 100,000 token,你可以保留長歷史,但請記住,每一輪都會重新傳送這些內容。若 50 輪中每輪都有 30,000 token 的歷史,則會產生 1,500,000 個輸入 token,或該次會話需支付 1.5 x $0.15 = $0.225。當歷史超過大小限制時,對舊輪次進行摘要可讓費用保持穩定。

第二種是代理迴圈。在 LangGraph 中,預建代理程式接受相同的 llm 物件加上工具列表,並迴圈直到模型停止要求工具為止。設定最大步驟數,以免因困惑而導致迴圈無限運行並消耗過多輸入 token。記錄 X-Request-Id 回應標頭,以備任何異常呼叫,因為這是聯繫 支援 時需引用的識別碼。

故障排除

  • 每次呼叫都出現 404。 基礎 URL 必須以 /v1 結尾,且不得包含 /chat/completions。
  • 找不到模型。 請精確使用 uncensored。LangChain 不會驗證自訂端點的模型名稱。
  • Token 計數警告。 某些 LangChain 功能使用 OpenAI tokenizers 估算 token。計數可能與實際模型略有不同,因此請依賴 API 回傳的用量資訊。
  • 長代理迴圈會產生高成本。 每次迴圈都會重新傳送完整歷史。在下次呼叫前修剪舊的工具輸出。

如果你的鏈看起來正確但仍失敗,請使用 curl 呼叫端點,以區分是 LangChain 的問題還是帳戶的問題。

問答

對於 OpenAI 相容端點,我該使用哪個 LangChain 類別?

來自 langchain-openai 套件的 ChatOpenAI,並設定 base_url、api_key 與 model。

此 API 支援函式呼叫嗎?

支援。它支援工具、tool_choice、串流輸出的 tool_calls,以及透過 tool role 回傳的結果。

我可以在這個端點使用 LangChain embeddings 嗎?

不支援。該服務沒有嵌入端點。請使用其他嵌入提供者或本地模型來處理該步驟。

如何在批次工作中避免 429 錯誤?

在完整金鑰上將 max_concurrency 設為低於 8,或在試用金鑰上設為低於 2,並允許幾次自動重試。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰

https://api.uncensoredllmhub.com/v1