PL ▾

Zacznij od kredytu próbnego

E-mail i hasło, klucz od razu na ekranie.

https://api.uncensoredllmhub.com/v1

LLM API z LangChain: Podłącz własny endpoint

Do konfiguracji LLM API w LangChain potrzebujesz tylko ChatOpenAI, bazowego URL, klucza i ID modelu. Ta strona pokazuje łańcuchy, strumieniowanie, wywoływanie narzędzi i wyjście strukturalne dla tego endpointu kompatybilnego z OpenAI, z kodem do skopiowania.

Zaktualizowano

Połączone ogniwa łańcucha połączone z sześcianem serwera, ilustrujące łańcuchy LangChain wywołujące niestandardowy endpoint LLM
Szafa serwerowa i waga szalowa z monetami obok świecącej się chmury, porównująca hostowanie własne z API

Kluczowe punkty

  • ChatOpenAI przyjmuje base_url, api_key i model, więc dowolny endpoint kompatybilny z OpenAI działa.
  • Użyj bazowego URL https://api.uncensoredllmhub.com/v1 i modelu uncensored.
  • Wywoływanie narzędzi jest obsługiwane; dla wyjścia strukturalnego tryb JSON jest najbezpieczniejszą metodą.
  • Szanuj limity: 8 równoległych zapytań dla pełnego klucza, więc ogranicz konkurencję partii.

Zainstaluj i podłącz

Integracja LangChain z OpenAI to osobny pakiet od biblioteki głównej. Zainstaluj go za pomocą pip install langchain-openai. Pobierz klucz na stronie kluczy API; nowi użytkownicy mogą odebrać $0,50 kredytu próbnego jednym kliknięciem, bez podawania karty.

Następnie stwórz obiekt modelu. Trzy argumenty mają znaczenie: model, base_url i api_key.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

To cała integracja. Wszystko w dół, takie jak prompty, parsery, agenci i retrievery, traktuje llm jak każdy inny model czatu. Jeśli wolisz zmienne środowiskowe, SDK OpenAI czyta OPENAI_API_KEY i OPENAI_BASE_URL, co ułatwia przełączanie między środowiskami bez dotykania kodu.

Obsługiwane przez endpoint funkcje

Usługa udostępnia POST /v1/chat/completions, POST /v1/responses oraz GET /v1/models. ChatOpenAI domyślnie używa uzupełnień czatu, co jest bezpiecznym wyborem. Model to jeden model o otwartych wagach dostosowany do odpowiadania bez odrzuceń treści dla prawnego użytku dorosłego, z oknem kontekstu 100 000 tokenów dzielonym między prompt a uzupełnienie.

Obsługiwane funkcje zapytań, na których polega LangChain: strumieniowanie przez SSE z użyciem na końcu, wywoływanie narzędzi, tryb JSON i parametry próbkowania temperature, top_p, stop, seed oraz kary. Niedostępne: embeddingi, generowanie obrazu lub audio, fine-tuning. Jeśli łańcuch pobierania potrzebuje embeddingów, użyj innego modelu embeddingów dla tego kroku i zachowaj ten endpoint do generowania. Pełne uwagi o parametrach są w dokumentacji.

Prompt, model i parser

Podstawowy wzorzec LCEL przesyła prompt do modelu, a następnie do parsera wyjściowego. Strumieniowanie jest dostępne automatycznie dzięki .stream().

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

Komunikat systemowy ustawia zachowanie dla każdego wywołania. Ponieważ okno kontekstu jest duże, możesz również przekazywać długi tekst referencyjny przez szablon promptu bez podziału w wielu przypadkach. Koszt wejścia to $0,15 za 1M tokenów, więc dokument 20 000 tokenów w prompcie kosztuje 20 000 / 1 000 000 x $0,15 = $0,003 za wywołanie.

Wywoływanie funkcji

Wywoływanie narzędzi podąża za formatem OpenAI: przekazujesz definicje funkcji, model odpowiada tool_calls, uruchamiasz funkcję i zwracasz wynik jako komunikat z rolą narzędzia. LangChain owija to w bind_tools.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

Model prosi o wywołanie; twój kod je wykonuje. W ramach agenta takiego jak LangGraph pętla robi to za ciebie, dopóki model nie odpowie zwykłym tekstem. Trzymaj opisy narzędzi krótkie, a nazwy argumentów proste. Jeśli model ignoruje narzędzie, ulepsz docstring i ustaw tool_choice, aby wymusić wywołanie podczas debugowania.

Wyjście strukturalne w trybie JSON

Endpoint obsługuje tryb JSON, response_format: {"type":"json_object"}. W LangChain poproś o to przez with_structured_output i wybierz metodę trybu JSON, potem waliduj modelem Pydantic.

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

Dwa nawyki zapewniają niezawodność JSON. Po pierwsze, użyj słowa „JSON” i nazwij klucze w prompcie, ponieważ tryb JSON gwarantuje poprawną składnię, ale nie Twój schemat. Po drugie, opakuj wywołanie w mechanizm ponownych prób, który przechwytuje błędy walidacji i przesyła tekst błędu do modelu raz. Nie polegaj na dekodowaniu ograniczonym schematem, jeśli nie przetestowałeś go z tym endpointem.

Konkurencja, ponowienia i kontrola kosztów

LangChain ułatwia równoległe zapytania dzięki .batch(), a tam właśnie zaczynają boleć limity. Pełny klucz pozwala na 8 równoległych zapytań i 300 na minutę. Klucz próbny pozwala na 2 i 60. Przekaż config={"max_concurrency": 6} do batch, aby nie przekroczyć limitu.

Gdy limit zostanie przekroczony, API zwraca HTTP 429 z kodem rate_limited lub concurrency oraz nagłówkiem Retry-After: 5 przy tymczasowym przeciążeniu. ChatOpenAI ma argument max_retries, który obsługuje te sytuacje z backoff; ustaw go na 3 do 5. Strumienie zajmują slot do momentu zakończenia, więc nie zostawiaj otwartych półprzeczytanych strumieni.

Przykład kosztu: zadanie partii 2 000 elementów, każdy z 800 tokenami wejścia i 150 tokenami wyjścia. Wejście: 2 000 x 800 = 1 600 000 tokenów = 1.6 x $0.15 = $0.24. Wyjście: 2 000 x 150 = 300 000 tokenów = 0.3 x $0.50 = $0.15. Zadanie kosztuje $0.39. Nieudane lub odrzucone zapytania nie są rozliczane, a nagłówek X-Balance-USD pozwala śledzić saldo. Zobacz cennik dla doładowań, które wynoszą od $20 do $500 i mogą być opłacone kryptowalutami.

Agenci i pamięć rozmowy

Dwa wzorce pojawiają się tuż po pierwszym działaniu łańcucha. Pierwszym jest pamięć rozmowy. Narzędzia historii wiadomości LangChain przechowują poprzednie tury i dołączają je do każdego wywołania. Ponieważ okno ma 100 000 tokenów, możesz przechowywać długie historie, ale pamiętaj, że każda tura wysyła je ponownie. Historia 30 000 tokenów w każdej z 50 tur oznacza 1 500 000 tokenów wejściowych, czyli 1,5 x $0,15 = $0,225 za sesję. Podsumowanie starych tur, gdy historia przekroczy limit rozmiaru, utrzymuje koszty na stałym poziomie.

Drugi to pętla agenta. W LangGraph prebuilt agent przyjmuje ten sam obiekt llm plus listę narzędzi i działa w pętli, dopóki model nie przestanie prosić o narzędzia. Ustaw maksymalną liczbę kroków, aby zdezorientowana pętla nie mogła narobić tokenów wejścia. Loguj nagłówek odpowiedzi X-Request-Id dla każdego wywołania, które zachowuje się dziwnie, ponieważ jest to identyfikator do podania, jeśli skontaktujesz się z wsparciem.

Rozwiązywanie problemów

  • 404 przy każdym wywołaniu. Bazowy URL musi kończyć się na /v1 i nie może zawierać /chat/completions.
  • Model nie znaleziony. Użyj uncensored dokładnie. LangChain nie waliduje nazw modeli dla niestandardowych endpointów.
  • Ostrzeżenia o liczeniu tokenów. Niektóre funkcje LangChain szacują tokeny tokenizerami OpenAI. Liczby mogą nieco różnić się od prawdziwego modelu, więc polegaj na użyciu zwróconym przez API.
  • Długie pętle agenta są drogie. Każda pętla ponownie wysyła pełną historię. Obcinaj stare wyjścia narzędzi, zanim osiągną kolejne wywołanie.

Jeśli twój łańcuch wygląda poprawnie, a nadal nie działa, wywołaj endpoint zwykłym curl, aby oddzielić problem LangChain od problemu konta.

Pytania i odpowiedzi

Którą klasę LangChain użyć dla endpointu kompatybilnego z OpenAI?

ChatOpenAI z pakietu langchain-openai, z ustawionymi base_url, api_key i model.

Czy wywoływanie funkcji działa z tym API?

Tak. Obsługuje narzędzia, tool_choice, strumieniowane tool_calls i wyniki zwracane z rolą narzędzia.

Czy mogę użyć embeddingów LangChain z tym endpointem?

Nie. Usługa nie ma endpointu do embeddingów. Użyj innego dostawcy embeddingów lub modelu lokalnego.

Jak unikać błędów 429 w zadaniach batch?

Ustaw max_concurrency poniżej 8 dla pełnego klucza lub poniżej 2 dla klucza próbnego i zezwól na kilka automatycznych ponowień.

Twój klucz jest o jeden formularz stąd

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API

https://api.uncensoredllmhub.com/v1