VI ▾

Bắt đầu với tín dụng dùng thử

Email và mật khẩu, khóa hiện ngay trên màn hình.

https://api.uncensoredllmhub.com/v1

API LLM với LangChain: Kết nối Endpoint tùy chỉnh

Để thiết lập LangChain cho API LLM, bạn chỉ cần ChatOpenAI, một base URL, một khóa và một ID mô hình. Trang này hiển thị chains, streaming, gọi hàm và đầu ra có cấu trúc đối với endpoint tương thích OpenAI này, kèm theo mã bạn có thể sao chép.

Cập nhật

Các liên kết chuỗi kính nối với khối máy chủ, minh họa việc LangChain chains gọi một endpoint LLM tùy chỉnh
Giá đỡ máy chủ và cân thăng bằng với đồng xu bên cạnh đám mây phát sáng, so sánh tự lưu trữ với API

Điểm chính

  • ChatOpenAI nhận base_url, api_key và model, nên bất kỳ endpoint tương thích OpenAI nào cũng hoạt động.
  • Sử dụng base URL https://api.uncensoredllmhub.com/v1 và mô hình uncensored.
  • Gọi hàm được hỗ trợ; đối với đầu ra có cấu trúc, chế độ JSON là phương pháp an toàn nhất.
  • Tuân thủ giới hạn: 8 yêu cầu đồng thời trên một khóa đầy đủ, vì vậy hãy giới hạn độ đồng thời của batch.

Cài đặt và kết nối

Tích hợp OpenAI của LangChain là một gói riêng biệt với thư viện lõi. Hãy cài đặt nó bằng pip install langchain-openai. Lấy khóa từ trang khóa API; người dùng mới có thể nhận $0,50 tín dụng dùng thử chỉ với một cú nhấp chuột, không cần thẻ.

Sau đó, hãy tạo đối tượng mô hình. Ba đối số quan trọng là: model, base_url và api_key.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

Đó là toàn bộ tích hợp. Mọi thứ ở tầng dưới, chẳng hạn như prompt, trình phân tích cú pháp, agent và retriever, đều xử lý llm như bất kỳ mô hình chat nào khác. Nếu bạn thích biến môi trường, SDK OpenAI đọc OPENAI_API_KEY và OPENAI_BASE_URL, giúp bạn dễ dàng chuyển đổi giữa các môi trường mà không cần chạm vào mã.

Endpoint hỗ trợ những gì

Dịch vụ cung cấp POST /v1/chat/completions, POST /v1/responses và GET /v1/models. ChatOpenAI sử dụng chat completions theo mặc định, đây là lựa chọn an toàn. Mô hình là một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích sử dụng hợp pháp của người lớn, với cửa sổ ngữ cảnh 100.000 token được chia sẻ cho prompt và completion.

Các tính năng yêu cầu được hỗ trợ mà LangChain dựa vào: streaming qua SSE với số liệu sử dụng ở cuối, gọi hàm, chế độ JSON và các tham số lấy mẫu temperature, top_p, stop, seed và các khoản phạt. Không có sẵn: embeddings, tạo ảnh hoặc âm thanh, fine-tuning. Nếu một retrieval chain cần embeddings, hãy dùng một mô hình embeddings khác cho bước đó và giữ endpoint này cho việc tạo nội dung. Ghi chú tham số đầy đủ có trong tài liệu.

Một prompt, một mô hình và một trình phân tích

Mẫu LCEL cơ bản dẫn một prompt vào mô hình và sau đó vào trình phân tích cú pháp đầu ra. Streaming có sẵn với .stream().

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

Tin nhắn hệ thống đặt hành vi cho mọi lần gọi. Vì cửa sổ ngữ cảnh lớn, bạn cũng có thể cung cấp văn bản tham chiếu dài thông qua prompt template mà không cần bộ tách trong nhiều trường hợp. Chi phí đầu vào là $0,15 cho mỗi 1 triệu token, vì vậy một tài liệu 20.000 token trong prompt sẽ tốn 20.000 / 1.000.000 x $0,15 = $0,003 cho mỗi lần gọi.

Gọi hàm

Gọi công cụ tuân theo định dạng OpenAI: bạn truyền các định nghĩa hàm, mô hình trả về tool_calls, bạn chạy hàm và trả kết quả dưới dạng tin nhắn với vai trò công cụ. LangChain bao bọc điều này trong bind_tools.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

Mô hình yêu cầu gọi hàm; mã của bạn sẽ thực thi nó. Trong một khung tác nhân như LangGraph, một vòng lặp sẽ làm việc này cho bạn cho đến khi mô hình trả về văn bản thuần. Hãy giữ mô tả công cụ ngắn gọn và tên đối số rõ ràng. Nếu mô hình bỏ qua một công cụ, hãy cải thiện docstring và đặt tool_choice để ép gọi hàm trong khi bạn gỡ lỗi.

Đầu ra có cấu trúc với chế độ JSON

Endpoint hỗ trợ chế độ JSON, response_format: {"type":"json_object"}. Trong LangChain, hãy yêu cầu nó thông qua with_structured_output và chọn phương thức chế độ JSON, sau đó kiểm tra bằng mô hình Pydantic.

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

Hai thói quen giúp JSON hoạt động đáng tin cậy. Thứ nhất, hãy ghi "JSON" và đặt tên các khóa trong prompt, vì chế độ JSON đảm bảo cú pháp hợp lệ nhưng không đảm bảo lược đồ của bạn. Thứ hai, hãy bao bọc cuộc gọi trong một lần thử lại bắt lỗi xác thực cấu trúc và gửi lại văn bản lỗi cho mô hình một lần. Đừng phụ thuộc vào giải mã dựa trên lược đồ trừ khi bạn đã kiểm tra nó với endpoint này.

Độ đồng thời, lần thử lại và kiểm soát chi phí

LangChain giúp các cuộc gọi song song trở nên dễ dàng với .batch(), và đó là nơi các giới hạn gây khó chịu. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 và 60. Hãy truyền config={"max_concurrency": 6} vào batch để bạn không vượt quá giới hạn.

Khi vượt quá giới hạn, API trả về HTTP 429 với mã rate_limited hoặc concurrency, và tiêu đề Retry-After: 5 khi quá tải tạm thời. ChatOpenAI có đối số max_retries xử lý các trường hợp này với cơ chế backoff; hãy đặt giá trị từ 3 đến 5. Các stream chiếm một slot cho đến khi hoàn tất, vì vậy đừng để các stream đang đọc dở vẫn mở.

Ví dụ chi phí thực tế: một công việc batch gồm 2.000 mục, mỗi mục có 800 token đầu vào và 150 token đầu ra. Đầu vào: 2.000 x 800 = 1.600.000 token = 1,6 x $0,15 = $0,24. Đầu ra: 2.000 x 150 = 300.000 token = 0,3 x $0,50 = $0,15. Công việc tốn $0,39. Các yêu cầu thất bại hoặc bị từ chối không bị tính phí và tiêu đề X-Balance-USD cho phép bạn theo dõi số dư. Xem giá cả để biết các khoản nạp tiền, dao động từ $20 đến $500 và có thể thanh toán bằng crypto.

Agent và bộ nhớ hội thoại

Hai mẫu thường xuất hiện ngay sau khi chuỗi đầu tiên hoạt động. Mẫu đầu tiên là bộ nhớ hội thoại. Các hàm hỗ trợ lịch sử tin nhắn của LangChain lưu các lượt giao tiếp trước đó và thêm chúng vào đầu mỗi lệnh gọi. Vì cửa sổ ngữ cảnh là 100.000 token, bạn có thể giữ lịch sử dài, nhưng hãy nhớ rằng mỗi lượt giao tiếp sẽ gửi lại chúng. Lịch sử 30.000 token trên mỗi trong số 50 lượt giao tiếp có nghĩa là 1.500.000 token đầu vào, hoặc 1,5 x $0,15 = $0,225 cho phiên. Tóm tắt các lượt giao tiếp cũ khi lịch sử vượt quá giới hạn kích thước giúp giữ chi phí ổn định.

Mẫu thứ hai là vòng lặp agent. Trong LangGraph, một agent được xây dựng sẵn nhận cùng một đối tượng llm cùng với một danh sách các công cụ và lặp lại cho đến khi mô hình ngừng yêu cầu công cụ. Hãy đặt số bước tối đa để một vòng lặp bị nhầm lẫn không thể làm tăng số token đầu vào. Hãy ghi lại tiêu đề phản hồi X-Request-Id cho bất kỳ cuộc gọi nào hoạt động kỳ lạ, vì đây là định danh cần trích dẫn nếu bạn liên hệ hỗ trợ.

Khắc phục sự cố

  • 404 trên mọi lần gọi. Base URL phải kết thúc bằng /v1 và không được bao gồm /chat/completions.
  • Không tìm thấy mô hình. Hãy sử dụng uncensored chính xác. LangChain không xác thực tên mô hình cho các endpoint tùy chỉnh.
  • Cảnh báo đếm token. Một số tính năng của LangChain ước tính token bằng các tokenizer của OpenAI. Số đếm có thể khác biệt nhẹ so với mô hình thực, vì vậy hãy dựa vào số liệu sử dụng do API trả về.
  • Vòng lặp agent dài trở nên đắt đỏ. Mỗi vòng lặp gửi lại toàn bộ lịch sử. Hãy cắt bớt đầu ra công cụ cũ trước khi nó đạt đến cuộc gọi tiếp theo.

Nếu chain của bạn trông đúng nhưng vẫn thất bại, hãy gọi endpoint bằng curl thuần để tách biệt vấn đề của LangChain với vấn đề của tài khoản.

Câu hỏi và câu trả lời

Tôi nên dùng lớp LangChain nào cho endpoint tương thích OpenAI?

ChatOpenAI từ gói langchain-openai, với base_url, api_key và model đã được thiết lập.

Gọi công cụ có hoạt động với API này không?

Có. API hỗ trợ tools, tool_choice, tool_calls được truyền phát và kết quả được gửi lại với vai trò tool.

Tôi có thể dùng embedding của LangChain với endpoint này không?

Không. Dịch vụ không có endpoint embeddings. Hãy dùng nhà cung cấp embeddings khác hoặc mô hình cục bộ cho bước đó.

Làm thế nào để tránh lỗi 429 trong các tác vụ batch?

Đặt max_concurrency dưới 8 với khóa đầy đủ, hoặc dưới 2 với khóa dùng thử, và cho phép một vài lần thử lại tự động.

Khóa của bạn chỉ cách một biểu mẫu

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.

Lấy khóa API

https://api.uncensoredllmhub.com/v1