中文 ▾

从试用额度开始

邮箱和密码,密钥立即显示在屏幕上。

https://api.uncensoredllmhub.com/v1

LLM API 与 LangChain:连接自定义接口

配置 LLM API 的 LangChain 只需 ChatOpenAI、Base URL、密钥和模型 ID。本页面展示了针对该 OpenAI 兼容接口的链式调用、流式输出、函数调用和结构化输出的代码,你可以直接复制使用。

更新于

玻璃链链接连接到服务器立方体,说明 LangChain 链式调用自定义 LLM 接口
服务器机架和天平,旁边有硬币和发光的云,对比自建托管与 API

要点

  • ChatOpenAI 接受 base_url、api_key 和 model,因此任何 OpenAI 兼容的接口均可使用。
  • 使用 Base URL https://api.uncensoredllmhub.com/v1 和模型 uncensored。
  • 支持函数调用;对于结构化输出,JSON 模式是最安全的方法。
  • 遵守限制:完整密钥允许 8 个并发请求,因此请限制批量处理的并发数。

安装与连接

LangChain 的 OpenAI 集成是一个独立的包。使用 pip install langchain-openai 安装它。从 API 密钥页面 获取密钥;新用户只需一键即可领取 $0.50 的试用额度,无需绑定银行卡。

然后创建模型对象。有三个参数很重要:model、base_url 和 api_key。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

这就是整个集成过程。下游的一切,如提示词、解析器、代理和检索器,都将 llm 视为普通的聊天模型。如果你偏好使用环境变量,OpenAI SDK 会读取 OPENAI_API_KEY 和 OPENAI_BASE_URL,这使得在不修改代码的情况下轻松切换环境变得容易。

接口支持的功能

该服务提供 POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models。ChatOpenAI 默认使用聊天补全,这是安全的选择。该模型是一个开放权重模型,针对合法成人用途进行了无内容拒绝的优化,拥有 100,000 个 token 的上下文窗口,提示词和补全共享该窗口。

LangChain 依赖的支持请求功能包括:通过 SSE 进行流式输出并在末尾提供用量、函数调用、JSON 模式,以及采样参数 temperature、top_p、stop、seed 和惩罚。不可用功能包括:嵌入、图像或音频生成、微调。如果检索链需要嵌入,请为该步骤使用不同的嵌入模型,并将此接口用于生成。完整参数说明请参阅 文档。

提示词、模型和解析器

基础 LCEL 模式将提示词输入模型,然后送入输出解析器。.stream() 自带流式输出功能。

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

系统消息为每次调用设定行为。由于上下文窗口很大,在许多情况下,你还可以通过提示词模板输入长参考文本而无需使用分割器。输入成本为每 100 万 token $0.15,因此提示词中包含 20,000 token 的文档,每次调用的成本为 20,000 / 1,000,000 x $0.15 = $0.003。

函数调用

函数调用遵循 OpenAI 格式:你传入函数定义,模型回复包含 tool_calls,你执行该函数并将结果作为带有 tool 角色的消息返回。LangChain 将其封装在 bind_tools 中。

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

模型请求调用;你的代码执行它。在 LangGraph 等代理框架中,循环会为你执行此操作,直到模型以纯文本回答。保持工具描述简短,参数名称清晰。如果模型忽略工具,请精简文档字符串并设置 tool_choice 以在调试期间强制调用。

使用 JSON 模式的结构化输出

该接口支持 JSON 模式,response_format: {"type":"json_object"}。在 LangChain 中,通过 with_structured_output 请求它并选择 JSON 模式方法,然后使用 Pydantic 模型进行验证。

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

两个习惯使 JSON 可靠。首先,在提示词中说明“JSON”并命名键,因为 JSON 模式保证语法有效,但不保证你的模式。其次,将调用包装在重试中,捕获验证错误并将错误文本发送回模型一次。除非你已在此接口上测试过,否则不要依赖受模式约束的解码。

并发、重试和成本控制

LangChain 通过 .batch() 使并行调用变得简单,而限制往往在此处显现。完整密钥允许 8 个并发请求和每分钟 300 个请求。试用密钥允许 2 个并发请求和每分钟 60 个请求。向 batch 传递 config={"max_concurrency": 6},以确保不超过上限。

当超出限制时,API 会返回 HTTP 429 状态码,错误代码为 rate_limited 或 concurrency,并在临时过载时附带 Retry-After: 5 响应头。ChatOpenAI 具有 max_retries 参数,可通过退避机制处理这些情况;建议将其设置为 3 到 5。流式传输会占用一个槽位,直到完成,因此请勿让未读取完毕的流保持打开状态。

成本计算示例:一批包含 2,000 个项目的任务,每个项目包含 800 个输入 token 和 150 个输出 token。输入:2,000 x 800 = 1,600,000 个 token = 1.6 x $0.15 = $0.24。输出:2,000 x 150 = 300,000 个 token = 0.3 x $0.50 = $0.15。该任务成本为 $0.39。失败或被拒绝的请求不收费,X-Balance-USD 标头可让你随时查看余额。查看 定价 了解充值,充值金额从 $20 到 $500 不等,支持加密货币支付。

代理和对话记忆

在第一个链运行正常后,通常会遇到两种模式。第一种是对话记忆。LangChain 的消息历史辅助函数会存储历史对话,并将其前置到每次调用中。由于上下文窗口为 100,000 个 token,你可以保留较长的历史记录,但请记住,每次调用都会重新发送这些历史记录。如果在 50 次调用中,每次都有 30,000 个 token 的历史记录,则意味着 1,500,000 个输入 token,即 1.5 x $0.15 = $0.225 的会话成本。当历史记录超过大小限制时,对旧轮次进行摘要可以保持成本平稳。

第二种是代理循环。在 LangGraph 中,预构建的代理获取相同的 llm 对象加上工具列表,并循环直到模型停止请求工具。设置最大步骤数,以防因困惑导致的循环消耗过多输入 token。记录 X-Request-Id 响应头,用于任何行为异常的调用,因为它是联系 支持 时需要引用的标识符。

故障排除

  • 每次调用都返回 404。 Base URL 必须以 /v1 结尾,且不得包含 /chat/completions。
  • 未找到模型。 精确使用 uncensored。LangChain 不验证自定义接口的模型名称。
  • Token 计数警告。 某些 LangChain 功能使用 OpenAI tokenizer 估算 token。计数可能与实际模型略有不同,因此请依赖 API 返回的用量。
  • 长代理循环成本高昂。 每次循环都会重新发送完整的历史记录。在旧工具输出达到下一次调用之前将其修剪。

如果你的链看起来正确但仍失败,请使用 curl 直接调用接口,以区分是 LangChain 的问题还是账户的问题。

问答

对于 OpenAI 兼容的接口,我应该使用哪个 LangChain 类?

来自 langchain-openai 包的 ChatOpenAI,需设置 base_url、api_key 和 model。

该 API 支持工具调用吗?

是的。它支持工具、tool_choice、流式输出的 tool_calls 以及带有 tool 角色字段返回的结果。

我可以在这个端点上使用 LangChain 嵌入模型吗?

不支持。该服务没有嵌入接口。请使用其他嵌入提供商或本地模型完成该步骤。

我该如何在批处理作业中避免 429 错误?

对于完整密钥,将 max_concurrency 设置为低于 8;对于试用密钥,设置为低于 2,并允许几次自动重试。

只需填一张表即可获取密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥

https://api.uncensoredllmhub.com/v1