重點摘要
- Ollama 非常適合私密、離線和單用戶工作;當你需要並行處理和持續存取時,託管端點則勝出。
- 對於大多數應用程式,切換只需兩行程式碼:Base URL 和模型 ID。
- 此服務提供 100,000-token 上下文視窗、完整金鑰的 8 個並行請求,以及隨用隨付計費。
- 將 Ollama 用於實驗,將託管 API 用於生產流量。許多團隊同時使用兩者。
簡短答案:誰應該切換
如果你單獨工作、希望完全離線,或喜歡自行選擇和更換權重,請繼續使用 Ollama。它運行免費,由架構設計確保隱私,且其 OpenAI 相容模式在 /v1 處,便於進行開發。
當以下任一情況為真時,請考慮 Ollama API 替代方案:多人或進程同時呼叫模型、你需要服務在你電腦休眠時保持線上、你的提示詞很長且 GPU 記憶體不足,或你花在維護伺服器上的時間比開發產品還多。託管端點將模型變成一個 URL 和金鑰。你以權重控制權換取無需管理硬體。
此站點即為其中一個端點:一個 OpenAI 相容的文字 API,運行著一個開放權重模型,經過調校以傾向於不拒絕回答,供合法成人使用。它並非任何模型供應商的官方 API。詳細資訊請見文件。
本地 Ollama 與託管端點並列比較
| 主題 | 本地 Ollama | 此處的託管端點 |
|---|---|---|
| 計費模式 | 你的硬體和電力 | 每 1M 輸入 token $0.15,每 1M 輸出 token $0.50 |
| 並行處理 | 受你的 GPU 和並行槽等設定限制 | 完整金鑰的 8 個並行請求 |
| 上下文 | 按模型設定;受 VRAM 限制 | 100,000 token,提示詞加補全 |
| 可用性 | 只要你的機器保持開啟 | 透過 HTTPS 始終可達 |
| 隱私權 | 資料永不離開機器 | 提示詞不用於訓練 |
| 模型選擇 | 你可以下載並容納的任何模型 | 單一模型,ID uncensored |
| 設定 | 安裝、拉取權重、調整 | 建立金鑰,設定 Base URL |
最後一行的隱私需要誠實。本地部署在隱私方面更強。如果文件必須永不離開你的網路,請在本地運行。如果你只需要提示詞不進入他人的訓練集,一個聲明此點的託管服務對許多專案來說是可接受的。
並行處理和可用性
Ollama 可以服務並行請求,但吞吐量受你的 GPU 限制。一旦多個呼叫重疊,每個呼叫都會變慢,需要模型交換的請求可能會阻塞佇列。對於單一開發者來說,這通常不重要。對於擁有二十個聊天視窗的機器人來說,這就有影響了。
在此處使用完整金鑰,你可以獲得 8 個並行請求和每分鐘 300 個請求。試用金鑰獲得 2 個和 60 個。當你超過限制時,API 會回覆 HTTP 429:錯誤代碼 rate_limited 表示每分鐘過多,concurrency 表示同時過多,而 Retry-After: 5 標頭標記臨時過載。你的客戶端應等待並重試。串流請求會佔用其槽位直到串流結束,因此請關閉你不再讀取的串流。
我不引用可用性百分比,因為此服務未發布任何百分比。如果可用性是硬性要求,請在試用期間使用你自己的流量進行測試,並保留備用方案。
上下文長度與記憶體
上下文是資源受限之處。鍵值緩存隨每個 token 增長,因此長提示詞會與模型權重競爭 GPU 記憶體。Ollama 允許你提高每個模型的上下文,但在消費級卡上更大的上下文通常意味著更小或更重度量化的模型。
此處的上下文視窗為 100,000 token,完成部分可以使用剩餘的任何內容,因此 max_tokens 是可選的。這足以容納長文件加長回答,或運行數小時的角色扮演歷史。大輸入有代價,你可以精確計算:60,000-token 提示詞的成本為 60,000 / 1,000,000 x $0.15 = $0.009,2,000-token 回覆的成本為 2,000 / 1,000,000 x $0.50 = $0.001。一次長文件呼叫接近一分錢。
您的程式碼會發生什麼變化
如果你已經透過 Ollama 的 OpenAI 相容端點呼叫它,你只需更改 Base URL、金鑰和模型名稱。沒有其他變化。
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)串流輸出以相同方式運作。此 Node 範例使用官方 OpenAI 套件。
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}如果你曾使用 Ollama 的原生 /api/chat 路由,則需要進行少量重寫以符合聊天完成格式,主要是重新命名欄位。支援工具呼叫(tools、tool_choice)、JSON 模式(response_format)以及採樣參數。可用的端點包括 POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models。沒有 embeddings 端點,因此如果你的應用程式使用 Ollama 進行嵌入處理,請將該部分保留在本機。
成本:何時託管更便宜
本地並非免費。運行中型模型的 GPU 需要購買成本、消耗電力,且在請求之間處於閒置狀態。託管 API 僅按 token 收費,因此低使用或尖峰使用都有利於託管。
一個實際範例:一個每月有 5,000 次請求的聊天應用程式,每次請求包含 3,000 個輸入 token 和 400 個輸出 token。輸入:5,000 x 3,000 = 15,000,000 token,或 15 x $0.15 = $2.25。輸出:5,000 x 400 = 2,000,000 token,或 2 x $0.50 = $1.00。每月帳單為 $3.25。持續的高流量會改變計算方式,而全天候運行的自有 GPU 可能更具優勢。請與您自己的電費和硬體成本比較,並在決定前查看其他供應商的當前定價。
額度為預付制,永不過期,失敗或被拒絕的請求不會計費。儲值金額從 $20 到 $500 不等,並附帶 $50 起的贈金,你可以使用加密貨幣付款。詳情請見 定價。
合理的混合方案及如何開始
你不必只選其一。在 Ollama 上開發和運行私有實驗,然後透過更改環境變數,將生產流量指向託管 URL。我們關於 自行託管 LLM 的指南列出了自託管設定所需的內容,而 無審查 Ollama 模型 則涵蓋了如果你偏好保持離線時的本地選項。
要試用該端點,請在 API 金鑰頁面 建立帳戶,並一鍵領取 $0.50 試用額度。它不需要信用卡,有效期為 7 天,每人限領一次。在遷移任何內容之前,請先用真實的提示詞進行測試。

