Temel noktalar
- Ollama özel, çevrimdışı ve tek kullanıcılı işler için mükemmeldir; eşzamanlılık ve kesintisiz erişim gerektiğinde barındırılan uç nokta kazanır.
- Geçiş çoğu uygulama için iki satırlık bir iştir: base URL ve model ID.
- Bu hizmet 100.000 token'lık bir bağlam penceresi, tam anahtar başına 8 eşzamanlı istek ve kullandıkça öde fiyatlandırma sunar.
- Denelemeler için Ollama'yı koruyun ve üretim trafiği için barındırılan API'yi kullanın. Birçok ekip her ikisini birden kullanır.
Kısa cevap: Kimler geçiş yapmalı
Tek başınıza çalışıyorsanız, her şeyi çevrimdışı yapmak istiyorsanız veya ağırlıkları kendiniz seçip değiştirmeyi seviyorsanız Ollama'da kalın. Çalıştırması ücretsizdir, yapısı gereği özeldir ve /v1 adresindeki OpenAI uyumlu modu, geliştirme yapmayı kolaylaştırır.
Aşağıdakilerden biri doğru olduğunda bir Ollama API alternatifi arayın: birden fazla kişi veya işlem modele aynı anda erişiyorsa, bilgisayarınız uyurken hizmetin açık kalmasını gerekiyorsa, istemleriniz uzunsa ve GPU belleğiniz yetersizse veya ürünü geliştirmekten çok sunucuyla ilgilenmeye zaman harcıyorsanız. Barındırılan bir uç nokta, modeli bir URL'ye ve bir anahtara dönüştürür. Ağırlıklar üzerindeki kontrolü, yönetilecek donanım olmaması karşılığında bırakırsınız.
Bu site böyle bir uç noktadır: yasal yetişkin kullanımı için içerik reddetmeleri olmadan cevap vermeye ayarlanmış tek bir açık ağırlıklı modelle çalışan OpenAI uyumlu bir metin API'si. Herhangi bir model satıcısının resmi API'si değildir. Detaylar dokümantasyonda yer almaktadır.
Yerel Ollama ve barındırılan uç nokta, yan yana
| Konu | Yerel Ollama | Burada barındırılan uç nokta |
|---|---|---|
| Maliyet modeli | Kendi donanımınız ve elektrik | 1M giriş token'ı başına $0,15, 1M çıkış token'ı başına $0,50 |
| Eşzamanlılık | GPU'nuz ve paralel slotlar gibi ayarlarınızla sınırlıdır | Tam anahtarla 8 eşzamanlı istek |
| Bağlam | Model başına ayarlanır; VRAM ile sınırlıdır | 100.000 token, istem ve tamamlama birlikte |
| Kullanılabilirlik | Makineniz açık olduğu sürece | HTTPS üzerinden her zaman erişilebilir |
| Gizlilik | Veriler makineden hiç çıkmaz | İstemler eğitim için kullanılmaz |
| Model seçimi | İndirebileceğiniz ve belleğe sığan herhangi bir model | Tek model, ID uncensored |
| Kurulum | Kurulum, model ağırlıklarını çekme, ince ayar | Bir anahtar oluşturun, temel URL'yi ayarlayın |
Gizlilik son satırı dürüstlüğü gerektirir. Yerel burada daha güçlüdür. Bir belgenin ağınızdan hiç çıkmaması gerekiyorsa, yerel olarak çalıştırın. Sadece istemlerin birinin eğitim setine beslenmemesini istiyorsanız, bunu söyleyen barındırılan bir hizmet birçok proje için kabul edilebilir.
Eşzamanlılık ve çalışma süresi
Ollama eşzamanlı istekleri işleyebilir ancak aktarım hızı GPU'nuzla sınırlıdır. Birden fazla çağrı üst üste bindiğinde her biri yavaşlar ve model değişimi gerektiren bir istek kuyruğu tıkayabilir. Tek bir geliştirici için bu nadiren önemlidir. Yirmi açık sohbeti olan bir bot için ise önemlidir.
Tam anahtarla burada 8 eşzamanlı istek ve dakika başına 300 istek alırsınız. Deneme anahtarı 2 ve 60 alır. Aşıldığında API HTTP 429 yanıtı verir: rate_limited hata kodu dakika başına çok fazla istek, concurrency aynı anda çok fazla istek anlamına gelir ve Retry-After: 5 başlığı geçici aşırı yükü işaret eder. İstemciniz beklemeli ve yeniden denemelidir. Akışlı bir istek, akış bitene kadar slotunu tutar, bu nedenle okumadığınız akışları kapatın.
Bu hizmet için yayınlanan çalışma süresi yüzdelerini vermiyorum. Çalışma süresi katı bir gereksinimse, deneme süresi sırasında kendi trafiğinizle test edin ve bir yedek plan tutun.
Bağlam uzunluğu ve bellek
Bağlam penceresi yerel kurulumların sıkıştığı yerdir. Anahtar-değer önbelleği her token ile büyür, bu nedenle uzun bir istem model ağırlıkları için GPU belleği ile yarışır. Ollama size model başına bağlam penceresini artırma imkanı tanır ancak tüketiciler için bir kartta daha büyük bir pencere genellikle daha küçük veya daha fazla niceye indirgenmiş bir model anlamına gelir.
Burada pencere 100.000 token'dır ve tamamlama kalanı kullanabilir, bu nedenle max_tokens isteğe bağlıdır. Bu, uzun bir belge veya saatlerce süren bir rol yapma geçmişi için yeterlidir. Büyük girdilerin fiyatı vardır: 60.000 token'lık bir istek 60.000 / 1.000.000 x $0,15 = $0,009 tutarındadır ve 2.000 token'lık bir yanıt 2.000 / 1.000.000 x $0,50 = $0,001 tutarındadır. Tek bir uzun belge çağrısı yaklaşık bir sente denk gelir.
Kodunuzda ne değişir
Zaten Ollama'yı OpenAI uyumlu rotası üzerinden çağırıyorsanız, base URL'yi, anahtarı ve model adını değiştirirsiniz. Başka hiçbir şey.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Akış aynı şekilde çalışır. Bu Node örneği resmi OpenAI paketini kullanır.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Ollama'nın yerleşik /api/chat rotalarını kullandıysanız, alanları büyük ölçüde yeniden adlandırarak chat completions formatına küçük bir yeniden yazma yapmanız gerekir. Araç çağırma (tools, tool_choice), JSON modu (response_format) ve örnekleme parametreleri desteklenir. Mevcut uç noktalar POST /v1/chat/completions, POST /v1/responses ve GET /v1/models şeklindedir. Embeddings uç noktası olmadığından, uygulamanız Ollama'yı embeddings için kullanıyorsa bu kısmı yerel olarak bırakın.
Maliyet: Barındırılan ne zaman daha ucuz olur
Yerel ücretsiz değildir. Orta boy bir modeli çalıştıran bir GPU satın almak için para harcar, güç çeker ve istekler arasında boşta kalır. Barındırılan bir API yalnızca token'lar için ücret alır, bu nedenle düşük ve dalgalı kullanım barındırılanı büyük bir farkla avantajlı kılar.
Detaylı bir örnek: Ayda 5.000 istek, her biri 3.000 girdi token ve 400 çıktı token ile bir sohbet uygulaması. Girdi: 5.000 x 3.000 = 15.000.000 token veya 15 x $0,15 = $2,25. Çıktı: 5.000 x 400 = 2.000.000 token veya 2 x $0,50 = $1,00. Aylık fatura $3,25'tir. Yoğun sürekli trafik matematiği değiştirir ve gece gündüz çalışan zaten sahip olunan bir GPU kazanabilir. Karar vermeden önce kendi elektrik ve donanım rakamlarınızla karşılaştırın ve diğer sağlayıcıların güncel fiyatlandırmasını kontrol edin.
Kredi ön ödemelidir, asla sona ermez ve başarısız veya reddedilen istekler için ücret alınmaz. Bakiye yükleme işlemleri $20 ile $500 arasında değişir ve $50'den başlayan bonuslar sunulur. Kripto ile ödeme yapabilirsiniz. Detaylar için fiyatlandırma sayfasına bakın.
Mantıklı bir hibrit ve nasıl başlanır
Birini seçmek zorunda değilsiniz. Özel deneyleri Ollama'da geliştirin ve çalıştırın, ardından üretim trafiğini bir ortam değişkenini değiştirerek barındırılan URL'ye yönlendirin. LLM'yi kendiniz barındırma rehberimiz, kendi kendine barındırılan bir kurulumun neleri içerdiğini listeler ve sansürsüz Ollama modelleri çevrimdışı kalmayı tercih ederseniz yerel seçenekleri kapsar.
Uç noktayı denemek için API anahtarı sayfasında bir hesap oluşturun ve tek tıklamayla $0,50 deneme kredisi talep edin. Kart gerektirmez, 7 gün sürer ve kişi başı birle sınırlıdır. Herhangi bir şeyi taşımadan önce gerçek istemlerinizi bunun üzerinden çalıştırın.

