Điểm chính
- ChatOpenAI nhận base_url, api_key và model, nên bất kỳ endpoint tương thích OpenAI nào cũng hoạt động.
- Sử dụng base URL https://api.uncensoredllmhub.com/v1 và mô hình uncensored.
- Gọi hàm được hỗ trợ; đối với đầu ra có cấu trúc, chế độ JSON là phương pháp an toàn nhất.
- Tuân thủ giới hạn: 8 yêu cầu đồng thời trên một khóa đầy đủ, vì vậy hãy giới hạn độ đồng thời của batch.
Cài đặt và kết nối
Tích hợp OpenAI của LangChain là một gói riêng biệt với thư viện lõi. Hãy cài đặt nó bằng pip install langchain-openai. Lấy khóa từ trang khóa API; người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, không cần thẻ.
Sau đó, hãy tạo đối tượng mô hình. Ba đối số quan trọng là: model, base_url và api_key.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a lighthouse cat.").content)Đó là toàn bộ tích hợp. Mọi thứ ở tầng dưới, chẳng hạn như prompt, trình phân tích cú pháp, agent và retriever, đều xử lý llm như bất kỳ mô hình chat nào khác. Nếu bạn thích biến môi trường, SDK OpenAI đọc OPENAI_API_KEY và OPENAI_BASE_URL, giúp bạn dễ dàng chuyển đổi giữa các môi trường mà không cần chạm vào mã.
Endpoint hỗ trợ những gì
Dịch vụ cung cấp POST /v1/chat/completions, POST /v1/responses và GET /v1/models. ChatOpenAI sử dụng chat completions theo mặc định, đây là lựa chọn an toàn. Mô hình là một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích sử dụng hợp pháp của người lớn, với cửa sổ ngữ cảnh 100.000 token được chia sẻ cho prompt và completion.
Các tính năng yêu cầu được hỗ trợ mà LangChain dựa vào: streaming qua SSE với số liệu sử dụng ở cuối, gọi hàm, chế độ JSON và các tham số lấy mẫu temperature, top_p, stop, seed và các khoản phạt. Không có sẵn: embeddings, tạo ảnh hoặc âm thanh, fine-tuning. Nếu một retrieval chain cần embeddings, hãy dùng một mô hình embeddings khác cho bước đó và giữ endpoint này cho việc tạo nội dung. Ghi chú tham số đầy đủ có trong tài liệu.
Một prompt, một mô hình và một trình phân tích
Mẫu LCEL cơ bản dẫn một prompt vào mô hình và sau đó vào trình phân tích cú pháp đầu ra. Streaming có sẵn với .stream().
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You are a concise editor. Reply in {tone} tone."),
("human", "Improve this sentence: {text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))
for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
print(piece, end="", flush=True)Tin nhắn hệ thống đặt hành vi cho mọi lần gọi. Vì cửa sổ ngữ cảnh lớn, bạn cũng có thể cung cấp văn bản tham chiếu dài thông qua prompt template mà không cần bộ tách trong nhiều trường hợp. Chi phí đầu vào là $0,15 cho mỗi 1 triệu token, vì vậy một tài liệu 20.000 token trong prompt sẽ tốn 20.000 / 1.000.000 x $0,15 = $0,003 cho mỗi lần gọi.
Gọi hàm
Gọi công cụ tuân theo định dạng OpenAI: bạn truyền các định nghĩa hàm, mô hình trả về tool_calls, bạn chạy hàm và trả kết quả dưới dạng tin nhắn với vai trò công cụ. LangChain bao bọc điều này trong bind_tools.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def add(a: int, b: int) -> int:
"""Add two integers."""
return a + b
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])
msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
print(call["name"], call["args"]) # run the function yourself, then send a ToolMessage backMô hình yêu cầu gọi hàm; mã của bạn sẽ thực thi nó. Trong một khung tác nhân như LangGraph, một vòng lặp sẽ làm việc này cho bạn cho đến khi mô hình trả về văn bản thuần. Hãy giữ mô tả công cụ ngắn gọn và tên đối số rõ ràng. Nếu mô hình bỏ qua một công cụ, hãy cải thiện docstring và đặt tool_choice để ép gọi hàm trong khi bạn gỡ lỗi.
Đầu ra có cấu trúc với chế độ JSON
Endpoint hỗ trợ chế độ JSON, response_format: {"type":"json_object"}. Trong LangChain, hãy yêu cầu nó thông qua with_structured_output và chọn phương thức chế độ JSON, sau đó kiểm tra bằng mô hình Pydantic.
from pydantic import BaseModel
from langchain_openai import ChatOpenAI
class Ticket(BaseModel):
title: str
priority: str
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")
print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))Hai thói quen giúp JSON hoạt động đáng tin cậy. Thứ nhất, hãy ghi "JSON" và đặt tên các khóa trong prompt, vì chế độ JSON đảm bảo cú pháp hợp lệ nhưng không đảm bảo lược đồ của bạn. Thứ hai, hãy bao bọc cuộc gọi trong một lần thử lại bắt lỗi xác thực cấu trúc và gửi lại văn bản lỗi cho mô hình một lần. Đừng phụ thuộc vào giải mã dựa trên lược đồ trừ khi bạn đã kiểm tra nó với endpoint này.
Độ đồng thời, lần thử lại và kiểm soát chi phí
LangChain giúp các cuộc gọi song song trở nên dễ dàng với .batch(), và đó là nơi các giới hạn gây khó chịu. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. Hãy truyền config={"max_concurrency": 6} vào batch để bạn không vượt quá giới hạn.
Khi vượt quá giới hạn, API trả về HTTP 429 với mã rate_limited hoặc concurrency, và tiêu đề Retry-After: 5 khi quá tải tạm thời. ChatOpenAI có đối số max_retries xử lý các trường hợp này với cơ chế backoff; hãy đặt giá trị từ 3 đến 5. Các stream chiếm một slot cho đến khi hoàn tất, vì vậy đừng để các stream đang đọc dở vẫn mở.
Ví dụ chi phí thực tế: một công việc batch gồm 2.000 mục, mỗi mục có 800 token đầu vào và 150 token đầu ra. Đầu vào: 2.000 x 800 = 1.600.000 token = 1,6 x $0,15 = $0,24. Đầu ra: 2.000 x 150 = 300.000 token = 0,3 x $0,50 = $0,15. Công việc tốn $0,39. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tiêu đề X-Balance-USD cho phép bạn theo dõi số dư. Xem giá cả để biết các khoản nạp tiền, dao động từ $20 đến $500 và có thể thanh toán bằng crypto.
Agent và bộ nhớ hội thoại
Hai mẫu thường xuất hiện ngay sau khi chuỗi đầu tiên hoạt động. Mẫu đầu tiên là bộ nhớ hội thoại. Các hàm hỗ trợ lịch sử tin nhắn của LangChain lưu các lượt giao tiếp trước đó và thêm chúng vào đầu mỗi lệnh gọi. Vì cửa sổ ngữ cảnh là 100.000 token, bạn có thể giữ lịch sử dài, nhưng hãy nhớ rằng mỗi lượt giao tiếp sẽ gửi lại chúng. Lịch sử 30.000 token trên mỗi trong số 50 lượt giao tiếp có nghĩa là 1.500.000 token đầu vào, hoặc 1,5 x $0,15 = $0,225 cho phiên. Tóm tắt các lượt giao tiếp cũ khi lịch sử vượt quá giới hạn kích thước giúp giữ chi phí ổn định.
Mẫu thứ hai là vòng lặp agent. Trong LangGraph, một agent được xây dựng sẵn nhận cùng một đối tượng llm cùng với một danh sách các công cụ và lặp lại cho đến khi mô hình ngừng yêu cầu công cụ. Hãy đặt số bước tối đa để một vòng lặp bị nhầm lẫn không thể làm tăng số token đầu vào. Hãy ghi lại tiêu đề phản hồi X-Request-Id cho bất kỳ cuộc gọi nào hoạt động kỳ lạ, vì đây là định danh cần trích dẫn nếu bạn liên hệ hỗ trợ.
Khắc phục sự cố
- 404 trên mọi lần gọi. Base URL phải kết thúc bằng
/v1và không được bao gồm/chat/completions. - Không tìm thấy mô hình. Hãy sử dụng
uncensoredchính xác. LangChain không xác thực tên mô hình cho các endpoint tùy chỉnh. - Cảnh báo đếm token. Một số tính năng của LangChain ước tính token bằng các tokenizer của OpenAI. Số đếm có thể khác biệt nhẹ so với mô hình thực, vì vậy hãy dựa vào số liệu sử dụng do API trả về.
- Vòng lặp agent dài trở nên đắt đỏ. Mỗi vòng lặp gửi lại toàn bộ lịch sử. Hãy cắt bớt đầu ra công cụ cũ trước khi nó đạt đến cuộc gọi tiếp theo.
Nếu chain của bạn trông đúng nhưng vẫn thất bại, hãy gọi endpoint bằng curl thuần để tách biệt vấn đề của LangChain với vấn đề của tài khoản.

