Ключевые моменты
- Ollama отлично подходит для приватной, офлайн-работы и для одного пользователя; хостинговый эндпоинт выигрывает, когда вам нужны параллельные запросы и постоянный доступ.
- Переход занимает две строки для большинства приложений: базовый URL и ID модели.
- Этот сервис предоставляет контекстное окно на 100 000 токенов, 8 параллельных запросов на полный ключ и оплату по факту использования.
- Используйте Ollama для экспериментов и хостинговое API для продакшн-трафика. Многие команды используют оба варианта.
Краткий ответ: кому стоит перейти
Оставайтесь на Ollama, если вы работаете в одиночку, хотите всё офлайн или любите выбирать и менять веса самостоятельно. Его запуск бесплатен, он приватен по своей природе, а его OpenAI-совместимый режим в /v1 делает его удобным для разработки.
Рассмотрите альтернативу Ollama API, если верно одно из следующих условий: несколько людей или процессов одновременно обращаются к модели, вам нужен сервис во время простоя вашего компьютера, ваши промпты длинные, а память GPU недостаточна, или вы тратите больше времени на обслуживание сервера, чем на разработку продукта. Хостинговый эндпоинт превращает модель в URL и ключ. Вы жертвуете контролем над весами ради отсутствия необходимости управлять оборудованием.
Этот сайт — один из таких эндпоинтов: OpenAI-совместимый текстовый API, работающий на одной модели с открытыми весами, настроенной на ответы без отказов по контенту для законного использования взрослыми. Это не официальный API какого-либо поставщика моделей. Подробности в документации.
Локальный Ollama и хостинговый эндпоинт рядом
| Тема | Локальная Ollama | Хостинговый эндпоинт здесь |
|---|---|---|
| Модель ценообразования | Ваше оборудование и электроэнергия | $0,15 за 1 млн входных токенов, $0,50 за 1 млн выходных токенов |
| Параллельные запросы | Ограничено вашим GPU и настройками, такими как параллельные слоты | 8 параллельных запросов на полный ключ |
| Контекст | Устанавливается на модель; ограничено VRAM | 100 000 токенов, промпт плюс завершение |
| Доступность | Пока включена ваша машина | Всегда доступен по HTTPS |
| Конфиденциальность | Данные никогда не покидают машину | Промпты не используются для обучения |
| Выбор модели | Любая модель, которую вы можете скачать и запустить | Одна модель, ID uncensored |
| Настройка | Установка, загрузка весов, настройка | Создать ключ, установить базовый URL |
Последняя строка о приватности требует честности. Локальный вариант сильнее в этом плане. Если документ должен никогда не покидать вашу сеть, запускайте его локально. Если вам нужно лишь чтобы промпты не попадали в обучающие наборы данных, хостинговый сервис, который об этом заявляет, приемлем для многих проектов.
Параллельные запросы и время работы
Ollama может обслуживать параллельные запросы, но пропускная способность ограничена вашим GPU. Когда несколько вызовов пересекаются, каждый из них замедляется, а запрос, требующий смены модели, может заблокировать очередь. Для одного разработчика это редко имеет значение. Для бота с двадцатью открытыми чатами — имеет.
На полный ключ здесь вы получаете 8 параллельных запросов и 300 запросов в минуту. Пробный ключ дает 2 и 60. При превышении API отвечает HTTP 429: код ошибки rate_limited означает слишком много запросов в минуту, concurrency означает слишком много одновременно, а заголовок Retry-After: 5 указывает временную перегрузку. Ваш клиент должен ждать и повторять запрос. Потоковый запрос удерживает свой слот до конца потока, поэтому закрывайте потоки, которые вы больше не читаете.
Я не привожу проценты времени работы, так как они не опубликованы для этого сервиса. Если время работы — жесткое требование, протестируйте его своим трафиком в период пробного использования и держите резервный вариант.
Длина контекста и память
Контекст — это то место, где локальные настройки чувствуют давление. Кэш ключ-значение растет с каждым токеном, поэтому длинный промпт конкурирует с весами модели за память GPU. Ollama позволяет увеличить контекст на модель, но большее окно на потребительской карте часто означает меньшую или более сильно квантованную модель.
Здесь окно составляет 100 000 токенов, и генерация может использовать все оставшееся пространство, поэтому max_tokens необязателен. Этого достаточно для длинного документа плюс длинный ответ или истории ролевой игры, длящейся часами. Большие входные данные имеют цену, которую можно вычислить точно: промпт на 60 000 токенов стоит 60 000 / 1 000 000 x $0,15 = $0,009, а ответ на 2 000 токенов стоит 2 000 / 1 000 000 x $0,50 = $0,001. Один вызов с длинным документом обходится примерно в один цент.
Что изменится в вашем коде
Если вы уже обращаетесь к Ollama через его OpenAI-совместимый маршрут, вы меняете базовый URL, ключ и имя модели. Ничего больше.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Потоковая передача работает так же. Этот пример на Node использует официальный пакет OpenAI.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Если вы использовали нативные маршруты /api/chat Ollama, вам потребуется небольшое изменение кода для формата chat completions, в основном переименование полей. Вызов функций (tools, tool_choice), JSON-режим (response_format) и параметры сэмплирования поддерживаются. Доступные эндпоинты: POST /v1/chat/completions, POST /v1/responses и GET /v1/models. Эндпоинта эмбеддингов нет, поэтому если ваше приложение использует Ollama для эмбеддингов, оставьте эту часть локальной.
Стоимость: когда хостинг становится дешевле
Локальный вариант не бесплатен. GPU, запускающий среднюю модель, стоит денег на покупку, потребляет энергию и простаивает между запросами. Хостинговое API взимает плату только за токены, поэтому низкое и пиковое использование в пользу хостинга.
Пример расчета: чат-приложение с 5 000 запросов в месяц, каждый с 3 000 входными токенами и 400 выходными токенами. Вход: 5 000 x 3 000 = 15 000 000 токенов, или 15 x $0,15 = $2,25. Выход: 5 000 x 400 = 2 000 000 токенов, или 2 x $0,50 = $1,00. Ежемесячный счет составляет $3,25. Высокая постоянная нагрузка меняет математику, и уже имеющийся GPU, работающий круглосуточно, может выиграть. Сравните со своими показателями электроэнергии и оборудования, а также проверьте текущие цены других провайдеров перед принятием решения.
Кредит предоплачен, не сгорает, а неудачные или отклоненные запросы не оплачиваются. Пополнение от $20 до $500 с бонусами от $50, оплата криптовалютой. Подробности см. в прайс-листе.
Разумный гибридный подход и как начать
Вам не нужно выбирать один вариант. Разрабатывайте и запускайте приватные эксперименты на Ollama, затем направьте продакшн-трафик на хостинговый URL, изменив переменную окружения. Наше руководство по размещению LLM самостоятельно перечисляет, что включает в себя самостоятельный хостинг, а модели uncensored Ollama охватывает локальные варианты, если вы предпочитаете оставаться офлайн.
Чтобы попробовать эндпоинт, создайте учетную запись на странице API-ключа и получите пробный кредит $0,50 в один клик. Карта не нужна, срок действия — 7 дней, ограничение — один на человека. Запустите свои реальные промпты через него перед тем, как что-либо переносить.

