TR ▾

Deneme kredisiyle başlayın

E-posta ve parola, anahtar hemen ekranda.

https://api.uncensoredllmhub.com/v1

Ollama API Alternatifi: Barındırılan Uç Noktayı Ne Zaman Kullanmalısınız

Uygulamanız tek bir makinenin kapasitesini aştığında bir Ollama API alternatifi mantıklıdır: daha fazla eşzamanlı kullanıcı, daha uzun istemler veya çalışmasını bırakmak istemediğiniz bir dizüstü bilgisayar. Bu makale yerel Ollama'yı barındırılan bir OpenAI uyumlu uç nokta ile karşılaştırır ve geçiş için gerekli küçük kod değişikliğini gösterir.

güncellendi

Barındırılan sunucu kulesine bağlı yerel bir bilgisayar, Ollama'dan barındırılan API'ye geçişi gösterir
Kendi kendine barındırma ile bir API'yi karşılaştıran, paraların yanında parlayan bir bulutun yanında sunucu rafı ve bir bakiye terazisi

Temel noktalar

  • Ollama özel, çevrimdışı ve tek kullanıcılı işler için mükemmeldir; eşzamanlılık ve kesintisiz erişim gerektiğinde barındırılan uç nokta kazanır.
  • Geçiş çoğu uygulama için iki satırlık bir iştir: base URL ve model ID.
  • Bu hizmet 100.000 token'lık bir bağlam penceresi, tam anahtar başına 8 eşzamanlı istek ve kullandıkça öde fiyatlandırma sunar.
  • Denelemeler için Ollama'yı koruyun ve üretim trafiği için barındırılan API'yi kullanın. Birçok ekip her ikisini birden kullanır.

Kısa cevap: Kimler geçiş yapmalı

Tek başınıza çalışıyorsanız, her şeyi çevrimdışı yapmak istiyorsanız veya ağırlıkları kendiniz seçip değiştirmeyi seviyorsanız Ollama'da kalın. Çalıştırması ücretsizdir, yapısı gereği özeldir ve /v1 adresindeki OpenAI uyumlu modu, geliştirme yapmayı kolaylaştırır.

Aşağıdakilerden biri doğru olduğunda bir Ollama API alternatifi arayın: birden fazla kişi veya işlem modele aynı anda erişiyorsa, bilgisayarınız uyurken hizmetin açık kalmasını gerekiyorsa, istemleriniz uzunsa ve GPU belleğiniz yetersizse veya ürünü geliştirmekten çok sunucuyla ilgilenmeye zaman harcıyorsanız. Barındırılan bir uç nokta, modeli bir URL'ye ve bir anahtara dönüştürür. Ağırlıklar üzerindeki kontrolü, yönetilecek donanım olmaması karşılığında bırakırsınız.

Bu site böyle bir uç noktadır: yasal yetişkin kullanımı için içerik reddetmeleri olmadan cevap vermeye ayarlanmış tek bir açık ağırlıklı modelle çalışan OpenAI uyumlu bir metin API'si. Herhangi bir model satıcısının resmi API'si değildir. Detaylar dokümantasyonda yer almaktadır.

Yerel Ollama ve barındırılan uç nokta, yan yana

KonuYerel OllamaBurada barındırılan uç nokta
Maliyet modeliKendi donanımınız ve elektrik1M giriş token'ı başına $0,15, 1M çıkış token'ı başına $0,50
EşzamanlılıkGPU'nuz ve paralel slotlar gibi ayarlarınızla sınırlıdırTam anahtarla 8 eşzamanlı istek
BağlamModel başına ayarlanır; VRAM ile sınırlıdır100.000 token, istem ve tamamlama birlikte
KullanılabilirlikMakineniz açık olduğu süreceHTTPS üzerinden her zaman erişilebilir
GizlilikVeriler makineden hiç çıkmazİstemler eğitim için kullanılmaz
Model seçimiİndirebileceğiniz ve belleğe sığan herhangi bir modelTek model, ID uncensored
KurulumKurulum, model ağırlıklarını çekme, ince ayarBir anahtar oluşturun, temel URL'yi ayarlayın

Gizlilik son satırı dürüstlüğü gerektirir. Yerel burada daha güçlüdür. Bir belgenin ağınızdan hiç çıkmaması gerekiyorsa, yerel olarak çalıştırın. Sadece istemlerin birinin eğitim setine beslenmemesini istiyorsanız, bunu söyleyen barındırılan bir hizmet birçok proje için kabul edilebilir.

Eşzamanlılık ve çalışma süresi

Ollama eşzamanlı istekleri işleyebilir ancak aktarım hızı GPU'nuzla sınırlıdır. Birden fazla çağrı üst üste bindiğinde her biri yavaşlar ve model değişimi gerektiren bir istek kuyruğu tıkayabilir. Tek bir geliştirici için bu nadiren önemlidir. Yirmi açık sohbeti olan bir bot için ise önemlidir.

Tam anahtarla burada 8 eşzamanlı istek ve dakika başına 300 istek alırsınız. Deneme anahtarı 2 ve 60 alır. Aşıldığında API HTTP 429 yanıtı verir: rate_limited hata kodu dakika başına çok fazla istek, concurrency aynı anda çok fazla istek anlamına gelir ve Retry-After: 5 başlığı geçici aşırı yükü işaret eder. İstemciniz beklemeli ve yeniden denemelidir. Akışlı bir istek, akış bitene kadar slotunu tutar, bu nedenle okumadığınız akışları kapatın.

Bu hizmet için yayınlanan çalışma süresi yüzdelerini vermiyorum. Çalışma süresi katı bir gereksinimse, deneme süresi sırasında kendi trafiğinizle test edin ve bir yedek plan tutun.

Bağlam uzunluğu ve bellek

Bağlam penceresi yerel kurulumların sıkıştığı yerdir. Anahtar-değer önbelleği her token ile büyür, bu nedenle uzun bir istem model ağırlıkları için GPU belleği ile yarışır. Ollama size model başına bağlam penceresini artırma imkanı tanır ancak tüketiciler için bir kartta daha büyük bir pencere genellikle daha küçük veya daha fazla niceye indirgenmiş bir model anlamına gelir.

Burada pencere 100.000 token'dır ve tamamlama kalanı kullanabilir, bu nedenle max_tokens isteğe bağlıdır. Bu, uzun bir belge veya saatlerce süren bir rol yapma geçmişi için yeterlidir. Büyük girdilerin fiyatı vardır: 60.000 token'lık bir istek 60.000 / 1.000.000 x $0,15 = $0,009 tutarındadır ve 2.000 token'lık bir yanıt 2.000 / 1.000.000 x $0,50 = $0,001 tutarındadır. Tek bir uzun belge çağrısı yaklaşık bir sente denk gelir.

Kodunuzda ne değişir

Zaten Ollama'yı OpenAI uyumlu rotası üzerinden çağırıyorsanız, base URL'yi, anahtarı ve model adını değiştirirsiniz. Başka hiçbir şey.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Akış aynı şekilde çalışır. Bu Node örneği resmi OpenAI paketini kullanır.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Ollama'nın yerleşik /api/chat rotalarını kullandıysanız, alanları büyük ölçüde yeniden adlandırarak chat completions formatına küçük bir yeniden yazma yapmanız gerekir. Araç çağırma (tools, tool_choice), JSON modu (response_format) ve örnekleme parametreleri desteklenir. Mevcut uç noktalar POST /v1/chat/completions, POST /v1/responses ve GET /v1/models şeklindedir. Embeddings uç noktası olmadığından, uygulamanız Ollama'yı embeddings için kullanıyorsa bu kısmı yerel olarak bırakın.

Maliyet: Barındırılan ne zaman daha ucuz olur

Yerel ücretsiz değildir. Orta boy bir modeli çalıştıran bir GPU satın almak için para harcar, güç çeker ve istekler arasında boşta kalır. Barındırılan bir API yalnızca token'lar için ücret alır, bu nedenle düşük ve dalgalı kullanım barındırılanı büyük bir farkla avantajlı kılar.

Detaylı bir örnek: Ayda 5.000 istek, her biri 3.000 girdi token ve 400 çıktı token ile bir sohbet uygulaması. Girdi: 5.000 x 3.000 = 15.000.000 token veya 15 x $0,15 = $2,25. Çıktı: 5.000 x 400 = 2.000.000 token veya 2 x $0,50 = $1,00. Aylık fatura $3,25'tir. Yoğun sürekli trafik matematiği değiştirir ve gece gündüz çalışan zaten sahip olunan bir GPU kazanabilir. Karar vermeden önce kendi elektrik ve donanım rakamlarınızla karşılaştırın ve diğer sağlayıcıların güncel fiyatlandırmasını kontrol edin.

Kredi ön ödemelidir, asla sona ermez ve başarısız veya reddedilen istekler için ücret alınmaz. Bakiye yükleme işlemleri $20 ile $500 arasında değişir ve $50'den başlayan bonuslar sunulur. Kripto ile ödeme yapabilirsiniz. Detaylar için fiyatlandırma sayfasına bakın.

Mantıklı bir hibrit ve nasıl başlanır

Birini seçmek zorunda değilsiniz. Özel deneyleri Ollama'da geliştirin ve çalıştırın, ardından üretim trafiğini bir ortam değişkenini değiştirerek barındırılan URL'ye yönlendirin. LLM'yi kendiniz barındırma rehberimiz, kendi kendine barındırılan bir kurulumun neleri içerdiğini listeler ve sansürsüz Ollama modelleri çevrimdışı kalmayı tercih ederseniz yerel seçenekleri kapsar.

Uç noktayı denemek için API anahtarı sayfasında bir hesap oluşturun ve tek tıklamayla $0,50 deneme kredisi talep edin. Kart gerektirmez, 7 gün sürer ve kişi başı birle sınırlıdır. Herhangi bir şeyi taşımadan önce gerçek istemlerinizi bunun üzerinden çalıştırın.

Sorular ve cevaplar

Barındırılan API, Ollama'nın OpenAI uç noktasıyla uyumlu mu?

İkisi de OpenAI chat completions formatını izler, bu nedenle Ollama'nın /v1 rotasına göre yazılmış kod için genellikle yalnızca yeni bir base URL, anahtar ve model ID gerekir.

Bu hizmet için Ollama yerel API'sini kullanabilir miyim?

Hayır. OpenAI tarzı rotaları kullanın: /v1/chat/completions, /v1/responses ve /v1/models.

İstediğim bir modeli çalıştırabilir miyim?

Hayır. Hizmet, ID'si uncensored olan tek bir açık ağırlıklı modeli çalıştırır. Ağırlıkları kendiniz seçmeniz gerekiyorsa, Ollama kullanmaya devam edin.

Embedding'leri destekliyor mu?

Hayır. Yalnızca metin üretimi yapar, bu nedenle bir embedding modeline ihtiyacınız varsa yerel veya ayrı bir embedding modeli kullanın.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve temel URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al

https://api.uncensoredllmhub.com/v1