中文 ▾

从试用额度开始

邮箱和密码,密钥立即显示在屏幕上。

https://api.uncensoredllmhub.com/v1

Ollama API 替代方案:何时使用托管端点

当你的应用超出单台机器的处理能力时,Ollama API 替代方案很有意义:更多用户同时使用、更长的提示词,或者你不想让笔记本电脑一直运行。本文比较了本地 Ollama 与托管 OpenAI 兼容接口,并展示了切换所需的小幅代码更改。

更新于

连接到托管服务器塔机的本地计算机,展示了从 Ollama 到托管 API 的迁移
服务器机架和天平,旁边有硬币和发光的云,对比自建托管与 API

要点

  • Ollama 非常适合私有、离线和单用户工作;当你需要并发和始终在线访问时,托管接口胜出。
  • 对于大多数应用,切换只需两行代码:Base URL 和模型 ID。
  • 该服务提供 100,000 token 的窗口,完整密钥下支持 8 个并发请求,并采用按量付费定价。
  • 将 Ollama 用于实验,将托管 API 用于生产流量。许多团队同时使用两者。

简短回答:谁应该切换

如果你是单独工作、希望完全离线,或者喜欢自行选择和更换权重,请留在 Ollama。它运行免费,由构造保证隐私,且其 OpenAI 兼容模式在 /v1 使得构建变得容易。

如果满足以下条件之一,请考虑 Ollama API 替代方案:多人或进程同时调用模型,你需要在你电脑休眠时服务保持在线,你的提示词很长且 GPU 内存不足,或者你花在服务器维护上的时间比构建产品还多。托管接口将模型变为 URL 和密钥。你用权重的控制权换取无需管理硬件。

本网站就是一个这样的接口:一个 OpenAI 兼容的文本 API,运行一个经过微调的开放权重模型,以便在合法的成人使用场景下无内容拒绝地回答。它不是任何模型供应商的官方 API。详细信息请参阅 文档。

本地 Ollama 与托管接口对比

主题本地 Ollama托管接口在此
成本模型你的硬件和电力每 100 万 token 输入 $0.15,输出 $0.50
并发受限于你的 GPU 和并行槽位等设置完整密钥下 8 个并发请求
上下文按模型设置;受 VRAM 限制100,000 token,包含提示词和补全
可用性只要你的机器保持开启通过 HTTPS 始终可达
隐私数据永不离开机器提示词不用于训练
模型选择任何可下载并适配的模型单一模型,ID uncensored
设置安装、拉取权重、调整创建密钥,设置 Base URL

隐私部分的最后一行需要诚实。本地部署在这方面更强。如果文档必须保留在你的网络内,请本地运行。如果你只需要提示词不进入某人的训练集,一个明确说明此点的托管服务对于许多项目来说是可以接受的。

并发和正常运行时间

Ollama 可以服务并发请求,但吞吐量受限于你的 GPU。一旦多个调用重叠,每个调用都会变慢,需要模型交换的请求可能会阻塞队列。对于单个开发者来说,这通常不重要。但对于拥有二十个聊天窗口的机器人来说,这很重要。

在此使用完整密钥,你获得 8 个并发请求和每分钟 300 个请求。试用密钥获得 2 个和 60 个。当你超过限制时,API 返回 HTTP 429:错误代码 rate_limited 表示每分钟太多,concurrency 表示同时太多,Retry-After: 5 标头标记临时过载。你的客户端应等待并重试。流式请求会占用其槽位直到流结束,因此请关闭你不再读取的流。

我不引用正常运行时间百分比,因为该服务未发布相关数据。如果正常运行时间是硬性要求,请在试用期间使用你自己的流量进行测试,并保留备用方案。

上下文长度和内存

上下文是本地部署感到压力的地方。键值缓存随每个 token 增长,因此长提示词会与模型权重争夺 GPU 内存。Ollama 允许你提高每个模型的上下文窗口,但在消费级显卡上更大的上下文窗口通常意味着更小的模型或更高量化程度的模型。

此处的上下文窗口为 100,000 token,补全可以使用剩余的任何部分,因此 max_tokens 是可选的。这足以容纳长文档加长回答,或运行数小时的角色扮演历史。大输入有代价,你可以精确计算:60,000-token 提示词成本为 60,000 / 1,000,000 x $0.15 = $0.009,2,000-token 回复成本为 2,000 / 1,000,000 x $0.50 = $0.001。一次长文档调用接近一分钱。

您的代码中会发生什么变化

如果你已经通过 Ollama 的 OpenAI 兼容路由调用它,你只需更改 Base URL、密钥和模型名称。没有其他变化。

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

流式输出以相同方式工作。此 Node 示例使用官方 OpenAI 包。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

如果你使用了 Ollama 的原生 /api/chat 路由,你需要将聊天补全格式进行少量重写,主要是重命名字段。支持工具调用(tools、tool_choice)、JSON 模式(response_format)和采样参数。可用的端点是 POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models。没有嵌入端点,因此如果你的应用使用 Ollama 进行嵌入,请将该部分保留在本地。

成本:托管何时更便宜

本地并非免费。运行中型模型的 GPU 需要购买成本,消耗电力,并在请求之间闲置。托管 API 仅按 token 收费,因此低且波动的使用量极大地有利于托管。

一个工作示例:每月 5,000 次请求的聊天应用,每次请求包含 3,000 个输入 token 和 400 个输出 token。输入:5,000 x 3,000 = 15,000,000 token,或 15 x $0.15 = $2.25。输出:5,000 x 400 = 2,000,000 token,或 2 x $0.50 = $1.00。月度账单为 $3.25。持续的高流量会改变计算方式,而全天候运行的已拥有 GPU 可能会胜出。根据你的电力和硬件数据进行比较,并在决定前检查其他提供商的当前定价。

额度为预付制,不会过期,失败或被拒的请求不会扣费。充值额度从 $20 到 $500,奖金从 $50 起,支持加密货币支付。详见 定价。

合理的混合方案及如何开始

你不必只选一个。在 Ollama 上开发和运行私有实验,然后通过更改环境变量将生产流量指向托管 URL。我们的指南 自行托管 LLM 列出了自托管设置涉及的内容,uncensored Ollama 模型 涵盖了如果你更喜欢保持离线时的本地选项。

要尝试该端点,请在 API 密钥页面 创建账户,并一键领取 $0.50 试用额度。它不需要卡,有效期 7 天,每人限领一次。在迁移任何内容之前,请用你的真实提示词运行测试。

问答

托管 API 兼容 Ollama 的 OpenAI 接口吗?

两者均遵循 OpenAI 聊天补全格式,因此针对 Ollama 的 /v1 路由编写的代码通常只需设置新的 base URL、密钥和模型 ID。

我可以对该服务使用 Ollama 原生 API 吗?

不行。请使用 OpenAI 风格的路由:/v1/chat/completions、/v1/responses 和 /v1/models。

我可以运行我选择的模型吗?

不行。该服务运行单一开放权重模型,通过 ID uncensored 选择。如果你需要自行选择权重,请继续使用 Ollama。

它支持嵌入吗?

不支持。它仅支持文本生成,如果你需要嵌入模型,请保留本地或单独的嵌入模型。

只差一张表单,即可获得密钥

创建账户,复制密钥,更改基础 URL。这就是全部设置。

获取 API 密钥

https://api.uncensoredllmhub.com/v1