LLM'leri Kendi Başınıza Barındırma veya API ile Atlatma

Kısa cevap: hacminize bağlıdır

LLM ağırlıklarını kendi başınıza barındırmak istiyorsanız dürüst özet şudur: Kendi makinenizde bir modelin yanıt vermesini sağlamak kolaydır, ancak başkaları için ucuz bir şekilde çalıştırmak zordur. Bir dizüstü bilgisayar veya masaüstü GPU kişisel kullanım için yeterlidir. Aynı anda birçok kullanıcıya yanıt veren bir hizmet için daha fazla bellek, daha fazla ayar ve onu ayakta tutacak birine ihtiyaç vardır.

Alternatif, barındırılan bir OpenAI uyumlu uç noktayı çağırmak ve token başına ödeme yapmaktır. Küçük ve orta ölçekli iş yükleri için bu neredeyse her zaman daha ucuzdur, çünkü boşta geçen GPU süresi için ödeme yapmazsınız. Çok büyük ve istikrarlı iş yükleri için veya kendi ince ayarlı modelinize ihtiyaç duyan işler için donanım sahibi olmak mantıklı hale gelir. Aşağıdaki bölümler, kendi kâr/zarar eşik noktanızı bulabilmeniz için her iki tarafın sayısal verilerini sunar.

Burada ücretsiz bir katman yok. Kayıt olduktan sonra API anahtarı sayfası üzerinden tek seferlik $0,50 deneme kredisi alabilirsiniz; sonrasında $20'den başlayan ön ödemeli kredi eklersiniz. Deneme kredisi, herhangi bir karar vermeden önce kendi istemlerinizin gerçek bir testini çalıştırmak için yeterlidir.

Bir modeli barındırmak için gerekenler

Bir dil modeli, model çalışırken hızlı bellekte oturması gereken sayılardan oluşan büyük bir dosyadır (ağırlıklar). Bu dosyanın boyutu ilk kısıtlamadır ve kendiniz hesaplayabilirsiniz: parametreler çarpı bayt başına parametre.

Bunlar yalnızca ağırlıklardır. Üstüne, her aktif sohbetin uzunluğuyla artan anahtar-değer önbelleği için belleğe ve çalışma zamanı için biraz boşluğa ihtiyacınız vardır. 24 GB'a sığan bir model, uzun bir bağlam veya birden fazla eşzamanlı kullanıcı istediğiniz anda bellek yetersizliği yaşayabilir. 4-bit'e quantize etmek dosyayı küçültür ancak çıktı kalitesini biraz değiştirir ve bu etki modele göre değişir.

Ardından yazılım tarafı gelir. llama.cpp, Ollama veya vLLM gibi bir çıkarım sunucusu, uygulamalarınızın buna erişebilmesi için bir HTTP katmanı, çöktüğünde yeniden başlatmak için bir yol ve çöktüğünde fark etmenizi sağlayacak izleme araçlarına ihtiyacınız vardır. Bunların hiçbiri tek başına zor değildir. Hepsi zaman alır ve zaman maliyetin bir parçasıdır.

Birinci seçenek: Kendi bilgisayarınızda çalıştırın

Başlamanın en ucuz yolu zaten sahip olduğunuz makinedir. Ollama ve llama.cpp gibi araçlar bir model indirir ve yerel bir sunucu sunar; çoğu ayrıca OpenAI tarzı bir uç nokta sağlar, böylece onlara karşı yazdığınız kod, yalnızca iki ayarı değiştirerek daha sonra barındırılan bir API'yi işaret edebilir.

Yerel barındırma şu durumlarda uygundur:

• bir kişi olarak deneme yapıyorsanız ve yanıt başına birkaç saniye sorun değilse;
• verilerin makineden hiç ayrılmaması gerekiyorsa;
• birçok farklı açık modeli hızlıca denemek istiyorsanız;
• yeterli belleğe sahip bir GPU'nuz varsa ve günün çoğunda boşta kalıyorsa.

Başka insanlara hizmet vermeniz gerektiğinde, istediğiniz model belleğinizden büyükse veya uzun bağlamlar istiyorsanız zayıf bir uyum sağlar. yerel sansürsüz modeller ve barındırılan API'ler karşılaştırmamız, küçük yerel modeller ile büyük barındırılan modeller arasındaki yanıt kalitesi değişiklikleri de dahil olmak üzere, bu ödünleşimleri daha ayrıntılı inceler.

Elektrik, tek bir kullanıcı için gerçek ama küçük bir kalemdir. Daha büyük maliyet, satın aldığınız ve isteseniz de istemeseniz de ödediğiniz donanımdır. Zaten sahipseniz, marjinal maliyet düşüktür ve yerel barındırma özel deneyler için yenilmezdir.

İkinci seçenek: GPU sunucusu kirala

Kendi makineniz yeterli olmadığında, bir sonraki adım kiralanmış bir GPU'dur. Sağlayıcılar, belirli miktarda GPU belleğine sahip bir makine için saat başı ücretlendirme yapar. Fiyatlar sağlayıcılar arasında büyük farklılık gösterir ve sık sık değişir, bu nedenle bir makalede okuduğunuz herhangi bir sayıya, bu makale dahil olmak üzere güvenmek yerine mevcut fiyatlandırmalarını kontrol edin.

Önemli olan faturayı şekillendiren faktördür. Kiralık bir sunucu, bir isteği yanıtlıyor olsun ya da olmasın, açık olduğu her saat için ücret alır. Tüm ay boyunca açık bırakırsanız, aritmetik basittir: Bir ayda yaklaşık 730 saat vardır (yılda 8.760 saat bölü 12). Saf bir varsayım örneği olarak, uygun bir sunucunun saatlik maliyetinin $1 olduğunu varsayalım. 7/7 çalıştırmak, depolama, bant genişliği ve kendi emeğinizi eklemeden önce aylık 730 × $1 = $730'a mal olur.

Sunucuyu kullanmadığınızda kapatabilirsiniz, ancak ardından gecikmelerle ödersiniz: Büyük bir modeli belleğe yüklemek zaman alır ve bir mola sonrası ilk kullanıcı bunun için bekler. Otomatik ölçeklendirme kurulumları bunu azaltır ancak kendi karmaşıklıklarını ekler.

API'ye karşı maliyet dengesi fiyattan kaynaklanır. Bir milyon giriş tokenı artı bir milyon çıkış tokenı bu API'de $0,15 + $0,50 = $0,65'e mal olur. Varsayılan $730'luk sunucu, 730 ÷ 0,65 ≈ 1.123 böyle çifti veya ayda yaklaşık 1,1 milyar giriş ve 1,1 milyar çıkış tokenına eşittir. Bu hacmin altında API daha az maliyetlidir. Üzerinde, sunucu bu trafiği gerçekten karşılayabiliyorsa, iyi kullanılmış bir sunucu kazanabilir; bu model, GPU ve sunucuyu ne kadar iyi ayarladığınıza bağlıdır.

Üçüncü seçenek: Barındırılan bir API kullanın

API yolu donanımı, sunucuyu ve boşta geçen süreyi ortadan kaldırır. Bir istek gönderirsiniz, bir yanıt alırsınız ve kullanılan tokenlar için ödersiniz. Fiyatlandırma burada 1M giriş tokenı başına $0.15 ve 1M çıktı tokenı başına $0.50'dir; ön ödemeli krediden kullandıkça öde, abonelik yok. Kredi hiç sona ermez ve başarısız veya reddedilen istekler için ücret alınmaz.

Bu, üç gerçekçi hacimde nasıl göründüğünü gösterir. Tipik bir sohbet dönüşünün 1.500 giriş tokenı (sistem istemi artı geçmiş) ve 500 çıktı tokenı kullandığı varsayılır.

• Bir istek: 1.500 giriş tokenı 0.0015 × $0.15 = $0.000225'e mal olur ve 500 çıktı tokenı 0.0005 × $0.50 = $0.00025'e mal olur. Birlikte bu $0.000475 eder.
• Günde 1.000 sohbet, 30 gün: 1.000 × $0.000475 = $0.475 günlük, veya ayda $14.25.
• Günde 20.000 sohbet, 30 gün: 20.000 × $0.000475 = $9.50 günlük, veya ayda $285.
• 100.000 isteklik bir toplu iş her biri için 2.000 giriş ve 400 çıktı tokenı ile: giriş 200M token'dır, yani 200 × $0.15 = $30; çıktı 40M token'dır, yani 40 × $0.50 = $20. Toplam $50'dir.

Orta rakamda API, her zaman açık bir sunucunun varsayılan $730'ından çok daha düşük olan aylık $285'e mal olur. En büyük rakamda, kiralanmış bir sunucunun yakalaması için çok daha fazla trafik gerekir. Gerçek sayıları kendi istemleriniz belirler, bu yüzden tahmin etmek yerine bir örnek ölçün. Her yanıtla birlikte dönen kullanım bloğu, kesin token sayılarını size söyler.

$0.50'lik deneme kredisi, 1.500 giriş, 500 çıktı boyutundaki yaklaşık 1.052 isteği kapsar (0.50 ÷ 0.000475 ≈ 1.052), bu bir test için fazlasıyla yeterlidir. Bundan sonra $20 ile $500 arasında herhangi bir tam miktarla bakiye yükleyebilirsiniz. Daha büyük yüklemeler bir bonus taşır: $50'den +%5, $100'den +%10 ve $200'den +%15, böylece $100'lük bir yükleme $110 kredi verir. Ayrıntılar fiyatlandırma sayfasında yer alır. Ödeme kart (Visa, Mastercard, Apple Pay, Google Pay) veya kripto (TRC20 üzerinde USDT, Base üzerinde USDC) ile yapılır.

Barındırmayarak ne veriyorsunuz

Bir API, ödünleşimlerden muaf değildir ve üzerine inşa etmeden önce bunları bilmek daha iyidir.

• Bir model. Tek bir açık ağırlıklı model alırsınız, bu model uncensored olarak belirtilir. Farklı bir modeli değiştiremez veya kendi ağırlıklarınızı yükleyemezsiniz.
• İnce ayar yok ve sadece metin. Eğitim uç noktası yok, gömme yok ve resim, ses veya video oluşturma yok.
• Sınırlar. Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300 istek sağlar. Deneme anahtarı ise 2 ve 60'a izin verir. Bu çoğu uygulama için yeterlidir, ancak çok büyük bir toplu işlem tarafınızda kuyruğa alınmayı gerektirir.
• Bağlam. Pencere, istem artı tamamlama için 100.000 token'dır.
• Verileriniz ağınızdan ayrılır. İstemler eğitim için kullanılmaz, ancak bir üçüncü tarafa giderler. Bu belirli bir veri seti için kabul edilemezse, yerel olarak barındırın.

Kendi kendine barındırma, aşağıdakilerden biri zorunlu bir gereksinim olduğunda daha iyi bir seçenektir: kendi verilerinizde ince ayar, API'nin sunmadığı belirli bir model, tamamen çevrimdışı çalışma veya sahip olunan donanımın 7/7 çalışacak kadar büyük bir istikrarlı hacim.

Donanım satın almadan önce API'yi deneyin

Bir saatlik test, çoğu kiralanan sunucunun tek saatlik maliyetinden daha azdır ve modelin istemlerinize iyi yanıt verip vermeyeceğini gösterir. Uç nokta OpenAI ile uyumludur, bu nedenle zaten yerel sunucuya bağlanan kodunuz varsa, temel URL'yi, anahtarı ve model kimliğini değiştirmeniz yeterlidir. Bu betik, yanıtta kullanılan kullanım sayılarını kullanarak her çağrının maliyetini de bildirir:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)

u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")

Gerçek istemlerinizden birkaç düzinelerini çalıştırın, maliyet satırlarını toplayın ve beklenen günlük hacimle çarpın. Bu, donanım teklifinin yanına koyabileceğiniz bir rakam verir. Kurulum detaylarını istiyorsanız, dokümantasyon, akış, fonksiyon çağırma ve JSON modu dahil olmak üzere desteklenen parametreleri listeler.

Daha fazla kılavuz

• LLM Akışından Bilinmeyen Hata: Nedenleri ve Çözümleri
• Uncensored LLM Hub: Sohbet ve Ajanlar için Tek Uç Nokta
• ⟦a0⟍Sansürsüz Ollama Modelleri vs Barındırılan API'ler⟦/a0⟍