Kluczowe punkty
- ChatOpenAI przyjmuje base_url, api_key i model, więc dowolny endpoint kompatybilny z OpenAI działa.
- Użyj bazowego URL https://api.uncensoredllmhub.com/v1 i modelu uncensored.
- Wywoływanie narzędzi jest obsługiwane; dla wyjścia strukturalnego tryb JSON jest najbezpieczniejszą metodą.
- Szanuj limity: 8 równoległych zapytań dla pełnego klucza, więc ogranicz konkurencję partii.
Zainstaluj i podłącz
Integracja LangChain z OpenAI to osobny pakiet od biblioteki głównej. Zainstaluj go za pomocą pip install langchain-openai. Pobierz klucz na stronie kluczy API; nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem, bez podawania karty.
Następnie stwórz obiekt modelu. Trzy argumenty mają znaczenie: model, base_url i api_key.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a lighthouse cat.").content)To cała integracja. Wszystko w dół, takie jak prompty, parsery, agenci i retrievery, traktuje llm jak każdy inny model czatu. Jeśli wolisz zmienne środowiskowe, SDK OpenAI czyta OPENAI_API_KEY i OPENAI_BASE_URL, co ułatwia przełączanie między środowiskami bez dotykania kodu.
Obsługiwane przez endpoint funkcje
Usługa udostępnia POST /v1/chat/completions, POST /v1/responses oraz GET /v1/models. ChatOpenAI domyślnie używa uzupełnień czatu, co jest bezpiecznym wyborem. Model to jeden model o otwartych wagach dostosowany do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłego, z oknem kontekstu 100 000 tokenów dzielonym między prompt a uzupełnienie.
Obsługiwane funkcje zapytań, na których polega LangChain: strumieniowanie przez SSE z użyciem na końcu, wywoływanie narzędzi, tryb JSON i parametry próbkowania temperature, top_p, stop, seed oraz kary. Niedostępne: embeddingi, generowanie obrazu lub audio, fine-tuning. Jeśli łańcuch pobierania potrzebuje embeddingów, użyj innego modelu embeddingów dla tego kroku i zachowaj ten endpoint do generowania. Pełne uwagi o parametrach są w dokumentacji.
Prompt, model i parser
Podstawowy wzorzec LCEL przesyła prompt do modelu, a następnie do parsera wyjściowego. Strumieniowanie jest dostępne automatycznie dzięki .stream().
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You are a concise editor. Reply in {tone} tone."),
("human", "Improve this sentence: {text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))
for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
print(piece, end="", flush=True)Komunikat systemowy ustawia zachowanie dla każdego wywołania. Ponieważ okno kontekstu jest duże, możesz również przekazywać długi tekst referencyjny przez szablon promptu bez podziału w wielu przypadkach. Koszt wejścia to $0,15 za 1M tokenów, więc dokument 20 000 tokenów w prompcie kosztuje 20 000 / 1 000 000 x $0,15 = $0,003 za wywołanie.
Wywoływanie funkcji
Wywoływanie narzędzi podąża za formatem OpenAI: przekazujesz definicje funkcji, model odpowiada tool_calls, uruchamiasz funkcję i zwracasz wynik jako komunikat z rolą narzędzia. LangChain owija to w bind_tools.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def add(a: int, b: int) -> int:
"""Add two integers."""
return a + b
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])
msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
print(call["name"], call["args"]) # run the function yourself, then send a ToolMessage backModel prosi o wywołanie; twój kod je wykonuje. W ramach agenta takiego jak LangGraph pętla robi to za ciebie, dopóki model nie odpowie zwykłym tekstem. Trzymaj opisy narzędzi krótkie, a nazwy argumentów proste. Jeśli model ignoruje narzędzie, ulepsz docstring i ustaw tool_choice, aby wymusić wywołanie podczas debugowania.
Wyjście strukturalne w trybie JSON
Endpoint obsługuje tryb JSON, response_format: {"type":"json_object"}. W LangChain poproś o to przez with_structured_output i wybierz metodę trybu JSON, potem waliduj modelem Pydantic.
from pydantic import BaseModel
from langchain_openai import ChatOpenAI
class Ticket(BaseModel):
title: str
priority: str
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")
print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))Dwa nawyki zapewniają niezawodność JSON. Po pierwsze, użyj słowa „JSON” i nazwij klucze w prompcie, ponieważ tryb JSON gwarantuje poprawną składnię, ale nie Twój schemat. Po drugie, opakuj wywołanie w mechanizm ponownych prób, który przechwytuje błędy walidacji i przesyła tekst błędu do modelu raz. Nie polegaj na dekodowaniu ograniczonym schematem, jeśli nie przetestowałeś go z tym endpointem.
Konkurencja, ponowienia i kontrola kosztów
LangChain ułatwia równoległe zapytania dzięki .batch(), a tam właśnie zaczynają boleć limity. Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Klucz próbny pozwala na 2 i 60. Przekaż config={"max_concurrency": 6} do batch, aby nie przekroczyć limitu.
Gdy limit zostanie przekroczony, API zwraca HTTP 429 z kodem rate_limited lub concurrency oraz nagłówkiem Retry-After: 5 przy tymczasowym przeciążeniu. ChatOpenAI ma argument max_retries, który obsługuje te sytuacje z backoff; ustaw go na 3 do 5. Strumienie zajmują slot do momentu zakończenia, więc nie zostawiaj otwartych półprzeczytanych strumieni.
Przykład kosztu: zadanie partii 2 000 elementów, każdy z 800 tokenami wejścia i 150 tokenami wyjścia. Wejście: 2 000 x 800 = 1 600 000 tokenów = 1.6 x $0.15 = $0.24. Wyjście: 2 000 x 150 = 300 000 tokenów = 0.3 x $0.50 = $0.15. Zadanie kosztuje $0.39. Nieudane lub odrzucone zapytania nie są rozliczane, a nagłówek X-Balance-USD pozwala śledzić saldo. Zobacz cennik dla doładowań, które wynoszą od $20 do $500 i mogą być opłacone kryptowalutami.
Agenci i pamięć rozmowy
Dwa wzorce pojawiają się tuż po pierwszym działaniu łańcucha. Pierwszym jest pamięć rozmowy. Narzędzia historii wiadomości LangChain przechowują poprzednie tury i dołączają je do każdego wywołania. Ponieważ okno ma 100 000 tokenów, możesz przechowywać długie historie, ale pamiętaj, że każda tura wysyła je ponownie. Historia 30 000 tokenów w każdej z 50 tur oznacza 1 500 000 tokenów wejściowych, czyli 1,5 x $0,15 = $0,225 za sesję. Podsumowanie starych tur, gdy historia przekroczy limit rozmiaru, utrzymuje koszty na stałym poziomie.
Drugi to pętla agenta. W LangGraph prebuilt agent przyjmuje ten sam obiekt llm plus listę narzędzi i działa w pętli, dopóki model nie przestanie prosić o narzędzia. Ustaw maksymalną liczbę kroków, aby zdezorientowana pętla nie mogła narobić tokenów wejścia. Loguj nagłówek odpowiedzi X-Request-Id dla każdego wywołania, które zachowuje się dziwnie, ponieważ jest to identyfikator do podania, jeśli skontaktujesz się z wsparciem.
Rozwiązywanie problemów
- 404 przy każdym wywołaniu. Bazowy URL musi kończyć się na
/v1i nie może zawierać/chat/completions. - Model nie znaleziony. Użyj
uncensoreddokładnie. LangChain nie waliduje nazw modeli dla niestandardowych endpointów. - Ostrzeżenia o liczeniu tokenów. Niektóre funkcje LangChain szacują tokeny tokenizerami OpenAI. Liczby mogą nieco różnić się od prawdziwego modelu, więc polegaj na użyciu zwróconym przez API.
- Długie pętle agenta są drogie. Każda pętla ponownie wysyła pełną historię. Obcinaj stare wyjścia narzędzi, zanim osiągną kolejne wywołanie.
Jeśli twój łańcuch wygląda poprawnie, a nadal nie działa, wywołaj endpoint zwykłym curl, aby oddzielić problem LangChain od problemu konta.

