RU ▾

Начните с пробного баланса

E-mail и пароль — ключ сразу на экране.

https://api.uncensoredllmhub.com/v1

Альтернатива Ollama API: когда использовать хостинговый эндпоинт

Альтернатива Ollama API имеет смысл, когда ваше приложение перерастает одну машину: больше пользователей одновременно, длинные промпты или ноутбук, который вы не хотите держать включенным. Эта статья сравнивает локальный Ollama с хостинговым OpenAI-совместимым эндпоинтом и показывает небольшое изменение кода для перехода.

Обновлено

Локальный компьютер, подключенный к хостинговому серверу, иллюстрирующий переход от Ollama к хостинговому API
Серверная стойка и весы с монетами рядом со светящимся облаком, сравнивающие самостоятельный хостинг с API

Ключевые моменты

  • Ollama отлично подходит для приватной, офлайн-работы и для одного пользователя; хостинговый эндпоинт выигрывает, когда вам нужны параллельные запросы и постоянный доступ.
  • Переход занимает две строки для большинства приложений: базовый URL и ID модели.
  • Этот сервис предоставляет контекстное окно на 100 000 токенов, 8 параллельных запросов на полный ключ и оплату по факту использования.
  • Используйте Ollama для экспериментов и хостинговое API для продакшн-трафика. Многие команды используют оба варианта.

Краткий ответ: кому стоит перейти

Оставайтесь на Ollama, если вы работаете в одиночку, хотите всё офлайн или любите выбирать и менять веса самостоятельно. Его запуск бесплатен, он приватен по своей природе, а его OpenAI-совместимый режим в /v1 делает его удобным для разработки.

Рассмотрите альтернативу Ollama API, если верно одно из следующих условий: несколько людей или процессов одновременно обращаются к модели, вам нужен сервис во время простоя вашего компьютера, ваши промпты длинные, а память GPU недостаточна, или вы тратите больше времени на обслуживание сервера, чем на разработку продукта. Хостинговый эндпоинт превращает модель в URL и ключ. Вы жертвуете контролем над весами ради отсутствия необходимости управлять оборудованием.

Этот сайт — один из таких эндпоинтов: OpenAI-совместимый текстовый API, работающий на одной модели с открытыми весами, настроенной на ответы без отказов по контенту для законного использования взрослыми. Это не официальный API какого-либо поставщика моделей. Подробности в документации.

Локальный Ollama и хостинговый эндпоинт рядом

ТемаЛокальная OllamaХостинговый эндпоинт здесь
Модель ценообразованияВаше оборудование и электроэнергия$0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов
Параллельные запросыОграничено вашим GPU и настройками, такими как параллельные слоты8 параллельных запросов на полный ключ
КонтекстУстанавливается на модель; ограничено VRAM100 000 токенов, промпт плюс завершение
ДоступностьПока включена ваша машинаВсегда доступен по HTTPS
КонфиденциальностьДанные никогда не покидают машинуПромпты не используются для обучения
Выбор моделиЛюбая модель, которую вы можете скачать и запуститьОдна модель, ID uncensored
НастройкаУстановка, загрузка весов, настройкаСоздать ключ, установить базовый URL

Последняя строка о приватности требует честности. Локальный вариант сильнее в этом плане. Если документ должен никогда не покидать вашу сеть, запускайте его локально. Если вам нужно лишь чтобы промпты не попадали в обучающие наборы данных, хостинговый сервис, который об этом заявляет, приемлем для многих проектов.

Параллельные запросы и время работы

Ollama может обслуживать параллельные запросы, но пропускная способность ограничена вашим GPU. Когда несколько вызовов пересекаются, каждый из них замедляется, а запрос, требующий смены модели, может заблокировать очередь. Для одного разработчика это редко имеет значение. Для бота с двадцатью открытыми чатами — имеет.

На полный ключ здесь вы получаете 8 параллельных запросов и 300 запросов в минуту. Пробный ключ дает 2 и 60. При превышении API отвечает HTTP 429: код ошибки rate_limited означает слишком много запросов в минуту, concurrency означает слишком много одновременно, а заголовок Retry-After: 5 указывает временную перегрузку. Ваш клиент должен ждать и повторять запрос. Потоковый запрос удерживает свой слот до конца потока, поэтому закрывайте потоки, которые вы больше не читаете.

Я не привожу проценты времени работы, так как они не опубликованы для этого сервиса. Если время работы — жесткое требование, протестируйте его своим трафиком в период пробного использования и держите резервный вариант.

Длина контекста и память

Контекст — это то место, где локальные настройки чувствуют давление. Кэш ключ-значение растет с каждым токеном, поэтому длинный промпт конкурирует с весами модели за память GPU. Ollama позволяет увеличить контекст на модель, но большее окно на потребительской карте часто означает меньшую или более сильно квантованную модель.

Здесь окно составляет 100 000 токенов, и генерация может использовать все оставшееся пространство, поэтому max_tokens необязателен. Этого достаточно для длинного документа плюс длинный ответ или истории ролевой игры, длящейся часами. Большие входные данные имеют цену, которую можно вычислить точно: промпт на 60 000 токенов стоит 60 000 / 1 000 000 x $0,15 = $0,009, а ответ на 2 000 токенов стоит 2 000 / 1 000 000 x $0,50 = $0,001. Один вызов с длинным документом обходится примерно в один цент.

Что изменится в вашем коде

Если вы уже обращаетесь к Ollama через его OpenAI-совместимый маршрут, вы меняете базовый URL, ключ и имя модели. Ничего больше.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Потоковая передача работает так же. Этот пример на Node использует официальный пакет OpenAI.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Если вы использовали нативные маршруты /api/chat Ollama, вам потребуется небольшое изменение кода для формата chat completions, в основном переименование полей. Вызов функций (tools, tool_choice), JSON-режим (response_format) и параметры сэмплирования поддерживаются. Доступные эндпоинты: POST /v1/chat/completions, POST /v1/responses и GET /v1/models. Эндпоинта эмбеддингов нет, поэтому если ваше приложение использует Ollama для эмбеддингов, оставьте эту часть локальной.

Стоимость: когда хостинг становится дешевле

Локальный вариант не бесплатен. GPU, запускающий среднюю модель, стоит денег на покупку, потребляет энергию и простаивает между запросами. Хостинговое API взимает плату только за токены, поэтому низкое и пиковое использование в пользу хостинга.

Пример расчета: чат-приложение с 5 000 запросов в месяц, каждый с 3 000 входными токенами и 400 выходными токенами. Вход: 5 000 x 3 000 = 15 000 000 токенов, или 15 x $0,15 = $2,25. Выход: 5 000 x 400 = 2 000 000 токенов, или 2 x $0,50 = $1,00. Ежемесячный счет составляет $3,25. Высокая постоянная нагрузка меняет математику, и уже имеющийся GPU, работающий круглосуточно, может выиграть. Сравните со своими показателями электроэнергии и оборудования, а также проверьте текущие цены других провайдеров перед принятием решения.

Кредит предоплачен, не сгорает, а неудачные или отклоненные запросы не оплачиваются. Пополнение от $20 до $500 с бонусами от $50, оплата криптовалютой. Подробности см. в прайс-листе.

Разумный гибридный подход и как начать

Вам не нужно выбирать один вариант. Разрабатывайте и запускайте приватные эксперименты на Ollama, затем направьте продакшн-трафик на хостинговый URL, изменив переменную окружения. Наше руководство по размещению LLM самостоятельно перечисляет, что включает в себя самостоятельный хостинг, а модели uncensored Ollama охватывает локальные варианты, если вы предпочитаете оставаться офлайн.

Чтобы попробовать эндпоинт, создайте учетную запись на странице API-ключа и получите пробный кредит $0,50 в один клик. Карта не нужна, срок действия — 7 дней, ограничение — один на человека. Запустите свои реальные промпты через него перед тем, как что-либо переносить.

Вопросы и ответы

Совместимо ли хостинговое API с OpenAI-эндпоинтом Ollama?

Оба следуют формату завершения чата OpenAI, поэтому код, написанный для маршрута /v1 Ollama, обычно требует только нового базового URL, ключа и ID модели.

Можно ли использовать нативный API Ollama для этого сервиса?

Нет. Используйте маршруты в стиле OpenAI: /v1/chat/completions, /v1/responses и /v1/models.

Можно ли запустить модель по своему выбору?

Нет. Сервис запускает одну модель с открытыми весами, выбираемую по ID uncensored. Если вам нужно выбирать веса самостоятельно, продолжайте использовать Ollama.

Поддерживаются ли эмбеддинги?

Нет. Только генерация текста, поэтому сохраните локальную или отдельную модель эмбеддингов, если она вам нужна.

Ваш ключ — всего в одном шаге

Создайте аккаунт, скопируйте ключ, измените базовый URL. Вот и вся настройка.

Получить API-ключ

https://api.uncensoredllmhub.com/v1