RU ▾

Начните с пробного баланса

E-mail и пароль — ключ сразу на экране.

https://api.uncensoredllmhub.com/v1

LLM API с LangChain: подключение пользовательского эндпоинта

Для настройки LLM API в LangChain вам нужны только ChatOpenAI, базовый URL, ключ и идентификатор модели. На этой странице показаны цепочки, потоковая передача, вызов инструментов и структурированный вывод для этого OpenAI-совместимого эндпоинта с кодом, который можно скопировать.

Обновлено

Стеклянные звенья цепочки, соединенные с серверным кубом, иллюстрирующие вызов цепочек LangChain пользовательским эндпоинтом LLM
Серверная стойка и весы с монетами рядом со светящимся облаком, сравнивающие самостоятельный хостинг с API

Ключевые моменты

  • ChatOpenAI принимает base_url, api_key и model, поэтому подходит любой OpenAI-совместимый эндпоинт.
  • Используйте базовый URL https://api.uncensoredllmhub.com/v1 и модель uncensored.
  • Вызов инструментов поддерживается; для структурированного вывода JSON-режим — самый надежный метод.
  • Соблюдайте лимиты: 8 параллельных запросов для полного ключа, поэтому ограничьте параллелизм пакетов.

Установка и подключение

Интеграция LangChain с OpenAI — это отдельный пакет от основной библиотеки. Установите его с помощью pip install langchain-openai. Получите ключ на странице API-ключ; новые пользователи могут получить $0,50 пробного баланса в один клик, без привязки карты.

Затем создайте объект модели. Важны три аргумента: model, base_url и api_key.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

Это вся интеграция. Все последующие компоненты, такие как промпты, парсеры, агенты и поисковые системы, воспринимают llm как любую другую модель чата. Если вы предпочитаете переменные окружения, SDK OpenAI считывает OPENAI_API_KEY и OPENAI_BASE_URL, что позволяет легко переключаться между средами без изменения кода.

Что поддерживает эндпоинт

Сервис предоставляет POST /v1/chat/completions, POST /v1/responses и GET /v1/models. ChatOpenAI по умолчанию использует завершение чата, что является безопасным выбором. Модель — это модель с открытыми весами, настроенная на ответы без отказов по контенту для законного использования взрослыми, с контекстным окном на 100 000 токенов, общим для промпта и завершения.

Поддерживаемые параметры запроса, на которые опирается LangChain: потоковая передача через SSE с указанием использования в конце, вызов функций, JSON-режим, а также параметры сэмплирования temperature, top_p, stop, seed и штрафы. Не поддерживаются: эмбеддинги, генерация изображений или аудио, дообучение. Если цепочка поиска требует эмбеддингов, используйте для этого шага другую модель эмбеддингов, а этот эндпоинт оставьте для генерации. Полные примечания по параметрам — в документации.

Промпт, модель и парсер

Базовый шаблон LCEL передает промпт в модель, а затем в парсер вывода. Потоковая передача доступна автоматически с помощью .stream().

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

Системное сообщение задает поведение для каждого вызова. Поскольку контекстное окно велико, вы также можете передавать длинные справочные тексты через шаблон промпта без разделителя во многих случаях. Стоимость входных данных составляет $0,15 за 1 млн токенов, поэтому документ на 20 000 токенов в промпте стоит 20 000 / 1 000 000 x $0,15 = $0,003 за вызов.

Вызов функций

Вызов инструментов следует формату OpenAI: вы передаете определения функций, модель отвечает tool_calls, вы запускаете функцию и возвращаете результат как сообщение с ролью инструмента. LangChain оборачивает это в bind_tools.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

Модель запрашивает вызов; ваш код выполняет его. В фреймворке агентов, таком как LangGraph, цикл делает это за вас, пока модель не ответит обычным текстом. Держите описания инструментов краткими, а имена аргументов — простыми. Если модель игнорирует инструмент, уточните описание и установите tool_choice, чтобы принудительно вызвать его во время отладки.

Структурированный вывод с JSON-режимом

Эндпоинт поддерживает JSON-режим, response_format: {"type":"json_object"}. В LangChain запросите его через with_structured_output и выберите метод JSON-режима, затем проверьте с помощью модели Pydantic.

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

Две привычки делают JSON надежным. Во-первых, укажите «JSON» и назовите ключи в промпте, поскольку JSON-режим гарантирует корректный синтаксис, но не вашу схему. Во-вторых, оберните вызов в повторную попытку, которая перехватывает ошибки валидации и один раз отправляет текст ошибки обратно модели. Не полагайтесь на декодирование с ограничениями схемы, если вы не протестировали его с этим эндпоинтом.

Параллелизм, повторные попытки и контроль затрат

LangChain упрощает параллельные вызовы с помощью .batch(), и именно здесь срабатывают лимиты. Полный ключ позволяет 8 параллельных запросов и 300 в минуту. Пробный ключ позволяет 2 и 60. Передайте config={"max_concurrency": 6} в batch, чтобы оставаться ниже предела.

При превышении лимита API возвращает HTTP 429 с кодом rate_limited или concurrency и заголовком Retry-After: 5 при временной перегрузке. ChatOpenAI имеет аргумент max_retries, который обрабатывает эти ситуации с использованием экспоненциальной задержки; установите значение от 3 до 5. Потоки занимают слот до завершения, поэтому не оставляйте частично прочитанные потоки открытыми.

Пример расчёта стоимости: пакетное задание из 2 000 элементов, каждый с 800 входными токенами и 150 выходными токенами. Вход: 2 000 x 800 = 1 600 000 токенов = 1,6 x $0,15 = $0,24. Выход: 2 000 x 150 = 300 000 токенов = 0,3 x $0,50 = $0,15. Задание стоит $0,39. Отказанные или отклонённые запросы не оплачиваются, а заголовок X-Balance-USD позволяет отслеживать баланс. См. цены для пополнения от $20 до $500 с оплатой криптовалютой.

Агенты и память разговора

Возникают два паттерна сразу после того, как первая цепочка заработает. Первый — это память разговора. Вспомогательные средства истории сообщений LangChain сохраняют предыдущие реплики и добавляют их в начало каждого вызова. Поскольку контекстное окно составляет 100 000 токенов, вы можете хранить длинные истории, но помните, что каждая реплика отправляет их заново. История на 30 000 токенов на каждой из 50 реплик означает 1 500 000 входных токенов, или 1,5 x $0,15 = $0,225 за сессию. Суммаризация старых реплик после превышения лимита размера истории удерживает расходы на одном уровне.

Второй — это цикл агента. В LangGraph готовый агент использует тот же объект llm плюс список инструментов и повторяет цикл, пока модель не перестанет запрашивать инструменты. Установите максимальное количество шагов, чтобы запутанный цикл не увеличивал количество входных токенов. Логируйте заголовок ответа X-Request-Id для любого вызова, который ведёт себя странно, так как это идентификатор, который нужно указать при обращении в поддержку.

Устранение неполадок

  • 404 при каждом вызове. Базовый URL должен заканчиваться на /v1 и не должен включать /chat/completions.
  • Модель не найдена. Используйте uncensored точно. LangChain не проверяет имена моделей для пользовательских эндпоинтов.
  • Предупреждения о подсчете токенов. Некоторые функции LangChain оценивают токены с помощью токенизаторов OpenAI. Подсчеты могут немного отличаться от реальной модели, поэтому полагайтесь на использование, возвращаемое API.
  • Длинные циклы агентов становятся дорогими. Каждый цикл отправляет полную историю. Обрезайте старые выходные данные инструментов перед следующим вызовом.

Если ваша цепочка выглядит правильно, но все равно не работает, вызовите эндпоинт с помощью обычного curl, чтобы отделить проблему LangChain от проблемы учетной записи.

Вопросы и ответы

Какой класс LangChain использовать для OpenAI-совместимого эндпоинта?

ChatOpenAI из пакета langchain-openai с установленными base_url, api_key и моделью.

Работает ли вызов инструментов с этим API?

Да. Поддерживаются инструменты, tool_choice, потоковые tool_calls и результаты, возвращаемые с ролью tool.

Могу ли я использовать эмбеддинги LangChain с этим эндпоинтом?

Нет. У сервиса нет эндпоинта для эмбеддингов. Используйте другого провайдера эмбеддингов или локальную модель для этого шага.

Как избежать ошибок 429 в пакетных заданиях?

Установите max_concurrency ниже 8 для полного ключа или ниже 2 для пробного ключа и разрешите несколько автоматических повторных попыток.

Ваш ключ — всего в одной форме

Создайте аккаунт, скопируйте ключ, измените базовый URL. Это вся настройка.

Получить API-ключ

https://api.uncensoredllmhub.com/v1