Poin utama
- Ollama sangat baik untuk pekerjaan privat, offline, dan satu pengguna; endpoint terhost menang ketika Anda membutuhkan konkurensi dan akses selalu aktif.
- Beralih membutuhkan dua baris untuk sebagian besar aplikasi: base URL dan ID model.
- Layanan ini memberikan jendela konteks 100.000 token, 8 permintaan paralel pada kunci API penuh, dan harga sesuai penggunaan.
- Pertahankan Ollama untuk eksperimen dan gunakan API terhost untuk lalu lintas produksi. Banyak tim menggunakan keduanya.
Jawaban singkat: siapa yang harus beralih
Tetap di Ollama jika Anda bekerja sendiri, menginginkan semuanya offline, atau suka memilih dan menukar bobot sendiri. Ini gratis untuk dijalankan, privat secara konstruksi, dan mode kompatibel OpenAI di /v1 membuatnya mudah untuk dibangun di atasnya.
Lihat alternatif API Ollama ketika salah satu dari ini benar: beberapa orang atau proses memanggil model secara bersamaan, Anda membutuhkan layanan tetap aktif saat komputer Anda tidur, prompt Anda panjang dan memori GPU Anda tidak mencukupi, atau Anda menghabiskan lebih banyak waktu merawat server daripada membangun produk. Endpoint terhost mengubah model menjadi URL dan kunci. Anda menukar kontrol atas bobot dengan tidak ada perangkat keras untuk dikelola.
Situs ini adalah salah satu endpoint: API teks kompatibel OpenAI yang menjalankan satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun. Detailnya ada di dokumentasi.
Ollama lokal dan endpoint terhost, berdampingan
| Topik | Ollama Lokal | Endpoint terhost di sini |
|---|---|---|
| Model Biaya | Perangkat keras dan daya Anda | $0,15 per 1M token input, $0,50 per 1M token output |
| Konkurensi | Dibatasi oleh GPU dan pengaturan Anda seperti slot paralel | 8 permintaan bersamaan pada kunci penuh |
| Konteks | Ditetapkan per model; dibatasi oleh VRAM | 100.000 token, prompt plus penyelesaian |
| Ketersediaan | Selama mesin Anda menyala | Selalu dapat diakses melalui HTTPS |
| Privasi | Data tidak pernah meninggalkan mesin | Prompt tidak digunakan untuk pelatihan |
| Pilihan model | Model apa pun yang dapat Anda unduh dan muat | Satu model, ID uncensored |
| Pengaturan | Instal, tarik bobot, sesuaikan | Buat kunci, atur URL dasar |
Baris terakhir privasi membutuhkan kejujuran. Opsi lokal lebih kuat di sana. Jika dokumen harus tetap berada di dalam jaringan Anda, jalankan secara lokal. Jika Anda hanya memerlukan prompt yang tidak masuk ke set pelatihan orang lain, layanan ter-host yang menyatakan hal tersebut dapat diterima untuk banyak proyek.
Konkurensi dan waktu aktif
Ollama dapat melayani permintaan paralel, tetapi throughput dibatasi oleh GPU Anda. Setelah beberapa panggilan tumpang tindih, masing-masing melambat, dan permintaan yang membutuhkan pertukaran model dapat macet di antrean. Untuk satu pengembang ini jarang menjadi masalah. Untuk bot dengan dua puluh obrolan terbuka, ini menjadi masalah.
Dengan kunci API penuh di sini, Anda mendapatkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mendapatkan 2 dan 60. Saat Anda melebihi batas, API akan membalas dengan HTTP 429: kode kesalahan rate_limited berarti terlalu banyak per menit, concurrency berarti terlalu banyak sekaligus, dan header Retry-After: 5 menandai kelebihan beban sementara. Klien Anda harus menunggu dan mencoba lagi. Permintaan streaming memegang slotnya hingga stream berakhir, jadi tutup stream yang tidak lagi Anda baca.
Saya tidak mengutip persentase waktu aktif karena tidak ada yang dipublikasikan untuk layanan ini. Jika waktu aktif adalah persyaratan keras, ujilah dengan lalu lintas Anda sendiri selama periode uji coba dan pertahankan cadangan.
Panjang konteks dan memori
Konteks adalah tempat pengaturan lokal terasa tertekan. Cache kunci-nilai tumbuh dengan setiap token, sehingga prompt panjang bersaing dengan bobot model untuk memori GPU. Ollama memungkinkan Anda meningkatkan konteks per model, tetapi jendela yang lebih besar pada kartu konsumen sering kali berarti model yang lebih kecil atau lebih banyak dikuantisasi.
Di sini jendelanya adalah 100.000 token dan penyelesaian dapat menggunakan apa pun yang tersisa, sehingga max_tokens opsional. Itu cukup untuk dokumen panjang plus jawaban panjang, atau riwayat roleplay yang berjalan selama berjam-jam. Input besar memiliki harga, yang dapat Anda hitung secara tepat: prompt 60.000 token biaya 60.000 / 1.000.000 x $0,15 = $0,009, dan balasan 2.000 token biaya 2.000 / 1.000.000 x $0,50 = $0,001. Satu panggilan dokumen panjang mendarat dekat dengan satu sen.
Apa yang berubah dalam kode Anda
Jika Anda sudah memanggil Ollama melalui rute kompatibel OpenAI, Anda hanya perlu mengubah URL dasar, kunci API, dan nama model. Tidak ada yang lain.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Streaming bekerja dengan cara yang sama. Contoh Node ini menggunakan paket OpenAI resmi.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Jika Anda menggunakan rute /api/chat asli Ollama, Anda perlu melakukan penulisan ulang kecil ke format penyelesaian chat, sebagian besar dengan mengganti nama bidang. Pemanggilan fungsi (tools, tool_choice), mode JSON (response_format) dan parameter sampling didukung. Endpoint yang tersedia adalah POST /v1/chat/completions, POST /v1/responses dan GET /v1/models. Tidak ada endpoint penyematan, jadi jika aplikasi Anda menggunakan Ollama untuk penyematan, pertahankan bagian itu secara lokal.
Biaya: kapan terhost lebih murah
Lokal tidak gratis. GPU yang menjalankan model ukuran menengah membutuhkan uang untuk dibeli, menarik daya, dan menganggur di antara permintaan. API terhost hanya mengenakan biaya untuk token, sehingga penggunaan rendah dan lonjakan mendukung terhost dengan margin lebar.
Contoh kasus: aplikasi chat dengan 5.000 permintaan per bulan, masing-masing dengan 3.000 token input dan 400 token output. Input: 5.000 x 3.000 = 15.000.000 token, atau 15 x $0,15 = $2,25. Output: 5.000 x 400 = 2.000.000 token, atau 2 x $0,50 = $1,00. Tagihan bulanan adalah $3,25. Lalu lintas tinggi yang berkelanjutan mengubah perhitungan matematika, dan GPU yang sudah dimiliki dan berjalan sepanjang waktu mungkin lebih menguntungkan. Bandingkan dengan angka listrik dan perangkat keras Anda sendiri, dan periksa harga penyedia lain saat ini sebelum memutuskan.
Saldo prabayar, tidak pernah habis, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Isi saldo dimulai dari $20 hingga $500 dengan bonus dari $50, dan Anda dapat membayar dengan kripto. Lihat harga untuk detailnya.
Hibrida yang masuk akal dan cara memulai
Anda tidak harus memilih satu. Kembangkan dan jalankan eksperimen pribadi di Ollama, lalu arahkan lalu lintas produksi ke URL ter-host dengan mengubah variabel lingkungan. Panduan kami tentang meng-host LLM sendiri mencantumkan apa yang diperlukan untuk pengaturan hosting mandiri, dan model Ollama tanpa sensor mencakup opsi lokal jika Anda lebih suka tetap offline.
Untuk mencoba endpoint, buat akun di halaman kunci API dan klaim kredit uji coba $0,50 dengan satu klik. Ini tidak memerlukan kartu, berlaku selama 7 hari, dan dibatasi satu per orang. Jalankan prompt asli Anda melalui itu sebelum memindahkan apa pun.

