繁中 ▾

從試用額度開始

電子郵件和密碼,金鑰立即顯示在畫面上。

https://api.uncensoredllmhub.com/v1

Ollama API 替代方案:何時使用託管端點

當你的應用程式超出單台機器的負載時,Ollama API 替代方案很有用:更多同時使用的用戶、更長的提示詞,或你不想讓其持續運行的筆記型電腦。本文將本地 Ollama 與託管式 OpenAI 相容端點進行比較,並展示切換所需的小幅程式碼更改。

更新於

連接到託管伺服器機櫃的本地電腦,說明從 Ollama 轉向託管 API 的過程
伺服器機櫃與天平,旁邊有硬幣與發光的雲端,比較自行託管與 API

重點摘要

  • Ollama 非常適合私密、離線和單用戶工作;當你需要並行處理和持續存取時,託管端點則勝出。
  • 對於大多數應用程式,切換只需兩行程式碼:Base URL 和模型 ID。
  • 此服務提供 100,000-token 上下文視窗、完整金鑰的 8 個並行請求,以及隨用隨付計費。
  • 將 Ollama 用於實驗,將託管 API 用於生產流量。許多團隊同時使用兩者。

簡短答案:誰應該切換

如果你單獨工作、希望完全離線,或喜歡自行選擇和更換權重,請繼續使用 Ollama。它運行免費,由架構設計確保隱私,且其 OpenAI 相容模式在 /v1 處,便於進行開發。

當以下任一情況為真時,請考慮 Ollama API 替代方案:多人或進程同時呼叫模型、你需要服務在你電腦休眠時保持線上、你的提示詞很長且 GPU 記憶體不足,或你花在維護伺服器上的時間比開發產品還多。託管端點將模型變成一個 URL 和金鑰。你以權重控制權換取無需管理硬體。

此站點即為其中一個端點:一個 OpenAI 相容的文字 API,運行著一個開放權重模型,經過調校以傾向於不拒絕回答,供合法成人使用。它並非任何模型供應商的官方 API。詳細資訊請見文件。

本地 Ollama 與託管端點並列比較

主題本地 Ollama此處的託管端點
計費模式你的硬體和電力每 1M 輸入 token $0.15,每 1M 輸出 token $0.50
並行處理受你的 GPU 和並行槽等設定限制完整金鑰的 8 個並行請求
上下文按模型設定;受 VRAM 限制100,000 token,提示詞加補全
可用性只要你的機器保持開啟透過 HTTPS 始終可達
隱私權資料永不離開機器提示詞不用於訓練
模型選擇你可以下載並容納的任何模型單一模型,ID uncensored
設定安裝、拉取權重、調整建立金鑰,設定 Base URL

最後一行的隱私需要誠實。本地部署在隱私方面更強。如果文件必須永不離開你的網路,請在本地運行。如果你只需要提示詞不進入他人的訓練集,一個聲明此點的託管服務對許多專案來說是可接受的。

並行處理和可用性

Ollama 可以服務並行請求,但吞吐量受你的 GPU 限制。一旦多個呼叫重疊,每個呼叫都會變慢,需要模型交換的請求可能會阻塞佇列。對於單一開發者來說,這通常不重要。對於擁有二十個聊天視窗的機器人來說,這就有影響了。

在此處使用完整金鑰,你可以獲得 8 個並行請求和每分鐘 300 個請求。試用金鑰獲得 2 個和 60 個。當你超過限制時,API 會回覆 HTTP 429:錯誤代碼 rate_limited 表示每分鐘過多,concurrency 表示同時過多,而 Retry-After: 5 標頭標記臨時過載。你的客戶端應等待並重試。串流請求會佔用其槽位直到串流結束,因此請關閉你不再讀取的串流。

我不引用可用性百分比,因為此服務未發布任何百分比。如果可用性是硬性要求,請在試用期間使用你自己的流量進行測試,並保留備用方案。

上下文長度與記憶體

上下文是資源受限之處。鍵值緩存隨每個 token 增長,因此長提示詞會與模型權重競爭 GPU 記憶體。Ollama 允許你提高每個模型的上下文,但在消費級卡上更大的上下文通常意味著更小或更重度量化的模型。

此處的上下文視窗為 100,000 token,完成部分可以使用剩餘的任何內容,因此 max_tokens 是可選的。這足以容納長文件加長回答,或運行數小時的角色扮演歷史。大輸入有代價,你可以精確計算:60,000-token 提示詞的成本為 60,000 / 1,000,000 x $0.15 = $0.009,2,000-token 回覆的成本為 2,000 / 1,000,000 x $0.50 = $0.001。一次長文件呼叫接近一分錢。

您的程式碼會發生什麼變化

如果你已經透過 Ollama 的 OpenAI 相容端點呼叫它,你只需更改 Base URL、金鑰和模型名稱。沒有其他變化。

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

串流輸出以相同方式運作。此 Node 範例使用官方 OpenAI 套件。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

如果你曾使用 Ollama 的原生 /api/chat 路由,則需要進行少量重寫以符合聊天完成格式,主要是重新命名欄位。支援工具呼叫(tools、tool_choice)、JSON 模式(response_format)以及採樣參數。可用的端點包括 POST /v1/chat/completions、POST /v1/responses 和 GET /v1/models。沒有 embeddings 端點,因此如果你的應用程式使用 Ollama 進行嵌入處理,請將該部分保留在本機。

成本:何時託管更便宜

本地並非免費。運行中型模型的 GPU 需要購買成本、消耗電力,且在請求之間處於閒置狀態。託管 API 僅按 token 收費,因此低使用或尖峰使用都有利於託管。

一個實際範例:一個每月有 5,000 次請求的聊天應用程式,每次請求包含 3,000 個輸入 token 和 400 個輸出 token。輸入:5,000 x 3,000 = 15,000,000 token,或 15 x $0.15 = $2.25。輸出:5,000 x 400 = 2,000,000 token,或 2 x $0.50 = $1.00。每月帳單為 $3.25。持續的高流量會改變計算方式,而全天候運行的自有 GPU 可能更具優勢。請與您自己的電費和硬體成本比較,並在決定前查看其他供應商的當前定價。

額度為預付制,永不過期,失敗或被拒絕的請求不會計費。儲值金額從 $20 到 $500 不等,並附帶 $50 起的贈金,你可以使用加密貨幣付款。詳情請見 定價。

合理的混合方案及如何開始

你不必只選其一。在 Ollama 上開發和運行私有實驗,然後透過更改環境變數,將生產流量指向託管 URL。我們關於 自行託管 LLM 的指南列出了自託管設定所需的內容,而 無審查 Ollama 模型 則涵蓋了如果你偏好保持離線時的本地選項。

要試用該端點,請在 API 金鑰頁面 建立帳戶,並一鍵領取 $0.50 試用額度。它不需要信用卡,有效期為 7 天,每人限領一次。在遷移任何內容之前,請先用真實的提示詞進行測試。

問答

託管 API 是否與 Ollama 的 OpenAI 端點相容?

兩者都遵循 OpenAI chat completions 格式,因此針對 Ollama 的 /v1 路由編寫的程式碼通常只需更改 Base URL、金鑰和模型 ID。

我可以對此服務使用 Ollama 原生 API 嗎?

不行。請使用 OpenAI 風格的路由:/v1/chat/completions、/v1/responses 和 /v1/models。

我可以運行我選擇的模型嗎?

不行。該服務運行單一開放權重模型,使用 ID 為 uncensored 的模型。如果你需要自行選擇權重,請繼續使用 Ollama。

它支援嵌入嗎?

不支援。它僅用於文本生成,如果你需要嵌入模型,請保留本地或獨立的嵌入模型。

只需填寫一個表單即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。

取得 API 金鑰

https://api.uncensoredllmhub.com/v1