JA ▾

無料トライアルクレジットで始める

メールアドレスとパスワードだけで、キーがすぐ画面に表示されます。

https://api.uncensoredllmhub.com/v1

Ollama API代替:ホストエンドポイントの活用時

アプリが1台のマシンでは収まらなくなった場合、つまり一度に多くのユーザー、長いプロンプト、または起動しっぱなしにしたくないラップトップがある場合に、Ollama APIの代替が有効です。この記事では、ローカルOllamaとホストOpenAI互換エンドポイントを比較し、切り替えに必要な小さなコード変更を示します。

更新日:

OllamaからホストAPIへの移行を示す、ホストサーバータワーに接続されたローカルコンピュータのイラスト
サーバーラックとバランススケール、光るクラウドの隣にコインを置き、セルフホスティングとAPIを比較

主要ポイント

  • Ollamaはプライベート、オフライン、単一ユーザーの作業に優れていますが、同時実行性と常時アクセスが必要な場合はホストエンドポイントが優位です。
  • 切り替えはほとんどのアプリで2行です:ベースURLとモデルID。
  • このサービスは、100,000トークンのコンテキストウィンドウ、フルキーあたり8つの同時リクエスト、従量課金制の価格を提供します。
  • 実験にはOllamaを、本番トラフィックにはホストAPIを使用してください。多くのチームは両方を使用しています。

簡潔な回答:誰が切り替えるべきか

単独で作業する場合、すべてをオフラインにしたい場合、または重みの選択や切り替えを自分で行いたい場合は、Ollamaを使い続けてください。実行は無料であり、設計上プライベートであり、/v1のOpenAI互換モードにより、APIへの構築が容易になります。

以下のいずれかに該当する場合、Ollama APIの代替を検討してください:複数の人やプロセスが同時にモデルにアクセスする、コンピュータがスリープ中でもサービスを利用したい、プロンプトが長くGPUメモリが不足している、製品開発よりもサーバーの管理に多くの時間を費やしている。ホストされたエンドポイントは、モデルをURLとAPIキーに変えます。ハードウェアの管理を不要にする代わりに、ウェイトの制御を手放すことになります。

このサイトはそのようなエンドポイントの一つです:コンテンツ拒否なしで回答するようにチューニングされた単一のオープンウェイトモデルを実行するOpenAI互換テキストAPIです。任意のモデルベンダーの公式APIではありません。詳細はドキュメントをご覧ください。

ローカルOllamaとホストエンドポイントの比較

件名ローカルの Ollamaホストエンドポイント(こちら)
コストモデルあなたのハードウェアと電力入力トークン 1M あたり $0.15、出力トークン 1M あたり $0.50
同時実行GPUと並列スロットなどの設定に制限されるフルキーでの同時リクエスト数8
コンテキストモデルごとに設定;VRAMに制限される100,000 トークン(プロンプトと補完を含む)
可用性マシンが稼働している限りHTTPS経由で常にアクセス可能
プライバシーデータはマシンから決して離れませんプロンプトはトレーニングに使用されません
モデルの選択ダウンロードして収容できる任意のモデル単一のモデル、ID uncensored
セットアップインストール、重みのプル、調整キーを作成し、ベースURLを設定する

プライバシーの最終行には誠実さが求められます。その点ではローカルの方が優れています。ドキュメントがネットワークから決して離れてはならない場合は、ローカルで実行してください。プロンプトが誰かのトレーニングデータにフィードされる必要がないだけでよい場合は、その旨を明言するホストサービスは多くのプロジェクトで許容可能です。

同時実行性と稼働時間

Ollamaは並列リクエストを処理できますが、スループットはGPUによって制限されます。複数の呼び出しが重複すると、それぞれが低速になり、モデルの切り替えが必要なリクエストがキューを停止させる可能性があります。単一の開発者にとってはあまり問題になりませんが、20のチャットを開いているボットにとっては影響があります。

ここではフルキーで8つの同時リクエストと1分あたり300リクエストが利用できます。試用キーでは2と60です。制限を超えると、APIはHTTP 429を返します。エラーコードrate_limitedは1分あたりのリクエストが多すぎることを、concurrencyは同時に多すぎることを示し、Retry-After: 5ヘッダーは一時的な過負荷を示します。クライアントは待機して再試行する必要があります。ストリーミングリクエストはストリームが終了するまでスロットを保持するため、不要なストリームは閉じてください。

このサービスの稼働率パーセントを引用しないのは、公開されていないためです。稼働率が必須要件の場合は、試用期間中に独自のトラフィックでテストし、フォールバックを保持してください。

コンテキストの長さとメモリ

コンテキストはローカル環境でボトルネックになりやすい部分です。キーバリューキャッシュはトークンごとに大きくなるため、長いプロンプトはモデルのウェイトとGPUメモリを競合させます。Ollamaではモデルごとにコンテキストウィンドウのサイズを引き上げることができますが、コンシューマーグレードのGPUで大きなウィンドウを使用すると、モデルのサイズが小さくなったり、量子化の度合いが高くなったりすることがよくあります。

ここでコンテキストウィンドウは100,000トークンで、生成は残りのトークンすべてを使用できるため、max_tokensはオプションです。これは長いドキュメントと長い回答、あるいは何時間も続くロールプレイ履歴に十分です。大きな入力には価格があり、正確に計算できます:60,000トークンのプロンプトは60,000 / 1,000,000 x $0.15 = $0.009、2,000トークンの返信は2,000 / 1,000,000 x $0.50 = $0.001です。1回の長いドキュメント呼び出しは約1セントになります。

コードの変更点

すでにOllamaのOpenAI互換ルート経由でOllamaを呼び出している場合、ベースURL、キー、モデル名を変更するだけです。それ以外は変更の必要はありません。

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

ストリーミングも同じように動作します。このNodeの例では公式OpenAIパッケージを使用しています。

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Ollamaのネイティブな/api/chatエンドポイントを使用していた場合、チャット完了の形式に合わせて小さな修正が必要です。主にフィールドの名前変更を行います。ツール呼び出し(tools、tool_choice)、JSONモード(response_format)、サンプリングパラメータはサポートされています。利用可能なエンドポイントはPOST /v1/chat/completions、POST /v1/responses、GET /v1/modelsです。埋め込み用のエンドポイントはないため、アプリでOllamaの埋め込み機能を使用している場合は、その部分をローカルに維持してください。

コスト:ホストの方が安くなるのはいつか

ローカルは無料ではありません。ミドルサイズのモデルを実行するGPUは購入コストがかかり、電力を消費し、リクエストの間にアイドル状態になります。ホストAPIはトークンのみに対して課金するため、低負荷でスパイクのある使用状況ではホストが大幅に有利です。

計算例:月間5,000リクエスト、各3,000入力トークンと400出力トークンのチャットアプリ。入力:5,000 x 3,000 = 15,000,000トークン、または15 x $0.15 = $2.25。出力:5,000 x 400 = 2,000,000トークン、または2 x $0.50 = $1.00。月々の請求額は$3.25です。高負荷の継続的なトラフィックは計算式を変え、すでに所有しており24時間稼働するGPUが勝つ可能性があります。自分の電気代とハードウェアの数字と比較し、決定する前に他のプロバイダーの現在の価格を確認してください。

クレジットは前払いで期限切れにならず、失敗または拒否されたリクエストには課金されません。チャージは$20から$500まで、ボーナスは$50からあり、暗号資産で支払えます。詳細は価格表をご覧ください。

賢明なハイブリッドと開始方法

一つだけ選ぶ必要はありません。Ollamaでプライベートな実験を開発・実行し、環境変数を変更するだけで本番トラフィックをホストURLに振り向けることができます。LLMのセルフホスティングガイドではセルフホスティング環境に必要なものがリストされています。オフラインを維持したい場合はuncensored Ollamaモデルでローカルオプションを確認してください。

エンドポイントを試すには、APIキーページでアカウントを作成し、ワンクリックで$0.50の試用クレジットを取得してください。クレジットカードは不要で、7日間有効、1人あたり1回限りの制限があります。実際に何かを移行する前に、実際のプロンプトで試してください。

質問と回答

ホストAPIはOllamaのOpenAIエンドポイントと互換性がありますか?

両方ともOpenAIのチャット完了形式に従うため、Ollamaの/v1ルート向けに書かれたコードは通常、新しいベースURL、キー、モデルIDのみで済みます。

OllamaネイティブAPIをこのサービスに対して使用できますか?

いいえ。OpenAIスタイルのルートを使用してください:/v1/chat/completions、/v1/responses、/v1/models。

任意のモデルを実行できますか?

いいえ。このサービスはID「uncensored」で選択される単一のオープンウェイトモデルを実行します。重みを手動で選択する必要がある場合は、Ollamaを引き続き使用してください。

埋め込みをサポートしていますか?

いいえ。テキスト生成のみに対応しているため、埋め込みモデルが必要な場合は、ローカルまたは別の埋め込みモデルを使い続けてください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得

https://api.uncensoredllmhub.com/v1