ID ▾

Mulai dengan kredit uji coba

Email dan kata sandi, kunci langsung tampil di layar.

https://api.uncensoredllmhub.com/v1

Alternatif API Ollama: Kapan Menggunakan Endpoint Terhost

Alternatif API Ollama masuk akal ketika aplikasi Anda melebihi kapasitas satu mesin: lebih banyak pengguna sekaligus, prompt lebih panjang, atau laptop yang lebih baik tidak dibiarkan menyala. Artikel ini membandingkan Ollama lokal dengan endpoint OpenAI-compatible terhost dan menunjukkan perubahan kode kecil untuk beralih.

Diperbarui

Komputer lokal yang terhubung ke menara server terhost, mengilustrasikan perpindahan dari Ollama ke API terhost
Rak server dan timbangan keseimbangan dengan koin di samping awan yang bersinar, membandingkan self-hosting dengan API

Poin utama

  • Ollama sangat baik untuk pekerjaan privat, offline, dan satu pengguna; endpoint terhost menang ketika Anda membutuhkan konkurensi dan akses selalu aktif.
  • Beralih membutuhkan dua baris untuk sebagian besar aplikasi: base URL dan ID model.
  • Layanan ini memberikan jendela konteks 100.000 token, 8 permintaan paralel pada kunci API penuh, dan harga sesuai penggunaan.
  • Pertahankan Ollama untuk eksperimen dan gunakan API terhost untuk lalu lintas produksi. Banyak tim menggunakan keduanya.

Jawaban singkat: siapa yang harus beralih

Tetap di Ollama jika Anda bekerja sendiri, menginginkan semuanya offline, atau suka memilih dan menukar bobot sendiri. Ini gratis untuk dijalankan, privat secara konstruksi, dan mode kompatibel OpenAI di /v1 membuatnya mudah untuk dibangun di atasnya.

Lihat alternatif API Ollama ketika salah satu dari ini benar: beberapa orang atau proses memanggil model secara bersamaan, Anda membutuhkan layanan tetap aktif saat komputer Anda tidur, prompt Anda panjang dan memori GPU Anda tidak mencukupi, atau Anda menghabiskan lebih banyak waktu merawat server daripada membangun produk. Endpoint terhost mengubah model menjadi URL dan kunci. Anda menukar kontrol atas bobot dengan tidak ada perangkat keras untuk dikelola.

Situs ini adalah salah satu endpoint: API teks kompatibel OpenAI yang menjalankan satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah. Ini bukan API resmi dari vendor model mana pun. Detailnya ada di dokumentasi.

Ollama lokal dan endpoint terhost, berdampingan

TopikOllama LokalEndpoint terhost di sini
Model BiayaPerangkat keras dan daya Anda$0,15 per 1M token input, $0,50 per 1M token output
KonkurensiDibatasi oleh GPU dan pengaturan Anda seperti slot paralel8 permintaan bersamaan pada kunci penuh
KonteksDitetapkan per model; dibatasi oleh VRAM100.000 token, prompt plus penyelesaian
KetersediaanSelama mesin Anda menyalaSelalu dapat diakses melalui HTTPS
PrivasiData tidak pernah meninggalkan mesinPrompt tidak digunakan untuk pelatihan
Pilihan modelModel apa pun yang dapat Anda unduh dan muatSatu model, ID uncensored
PengaturanInstal, tarik bobot, sesuaikanBuat kunci, atur URL dasar

Baris terakhir privasi membutuhkan kejujuran. Opsi lokal lebih kuat di sana. Jika dokumen harus tetap berada di dalam jaringan Anda, jalankan secara lokal. Jika Anda hanya memerlukan prompt yang tidak masuk ke set pelatihan orang lain, layanan ter-host yang menyatakan hal tersebut dapat diterima untuk banyak proyek.

Konkurensi dan waktu aktif

Ollama dapat melayani permintaan paralel, tetapi throughput dibatasi oleh GPU Anda. Setelah beberapa panggilan tumpang tindih, masing-masing melambat, dan permintaan yang membutuhkan pertukaran model dapat macet di antrean. Untuk satu pengembang ini jarang menjadi masalah. Untuk bot dengan dua puluh obrolan terbuka, ini menjadi masalah.

Dengan kunci API penuh di sini, Anda mendapatkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba mendapatkan 2 dan 60. Saat Anda melebihi batas, API akan membalas dengan HTTP 429: kode kesalahan rate_limited berarti terlalu banyak per menit, concurrency berarti terlalu banyak sekaligus, dan header Retry-After: 5 menandai kelebihan beban sementara. Klien Anda harus menunggu dan mencoba lagi. Permintaan streaming memegang slotnya hingga stream berakhir, jadi tutup stream yang tidak lagi Anda baca.

Saya tidak mengutip persentase waktu aktif karena tidak ada yang dipublikasikan untuk layanan ini. Jika waktu aktif adalah persyaratan keras, ujilah dengan lalu lintas Anda sendiri selama periode uji coba dan pertahankan cadangan.

Panjang konteks dan memori

Konteks adalah tempat pengaturan lokal terasa tertekan. Cache kunci-nilai tumbuh dengan setiap token, sehingga prompt panjang bersaing dengan bobot model untuk memori GPU. Ollama memungkinkan Anda meningkatkan konteks per model, tetapi jendela yang lebih besar pada kartu konsumen sering kali berarti model yang lebih kecil atau lebih banyak dikuantisasi.

Di sini jendelanya adalah 100.000 token dan penyelesaian dapat menggunakan apa pun yang tersisa, sehingga max_tokens opsional. Itu cukup untuk dokumen panjang plus jawaban panjang, atau riwayat roleplay yang berjalan selama berjam-jam. Input besar memiliki harga, yang dapat Anda hitung secara tepat: prompt 60.000 token biaya 60.000 / 1.000.000 x $0,15 = $0,009, dan balasan 2.000 token biaya 2.000 / 1.000.000 x $0,50 = $0,001. Satu panggilan dokumen panjang mendarat dekat dengan satu sen.

Apa yang berubah dalam kode Anda

Jika Anda sudah memanggil Ollama melalui rute kompatibel OpenAI, Anda hanya perlu mengubah URL dasar, kunci API, dan nama model. Tidak ada yang lain.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Streaming bekerja dengan cara yang sama. Contoh Node ini menggunakan paket OpenAI resmi.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Jika Anda menggunakan rute /api/chat asli Ollama, Anda perlu melakukan penulisan ulang kecil ke format penyelesaian chat, sebagian besar dengan mengganti nama bidang. Pemanggilan fungsi (tools, tool_choice), mode JSON (response_format) dan parameter sampling didukung. Endpoint yang tersedia adalah POST /v1/chat/completions, POST /v1/responses dan GET /v1/models. Tidak ada endpoint penyematan, jadi jika aplikasi Anda menggunakan Ollama untuk penyematan, pertahankan bagian itu secara lokal.

Biaya: kapan terhost lebih murah

Lokal tidak gratis. GPU yang menjalankan model ukuran menengah membutuhkan uang untuk dibeli, menarik daya, dan menganggur di antara permintaan. API terhost hanya mengenakan biaya untuk token, sehingga penggunaan rendah dan lonjakan mendukung terhost dengan margin lebar.

Contoh kasus: aplikasi chat dengan 5.000 permintaan per bulan, masing-masing dengan 3.000 token input dan 400 token output. Input: 5.000 x 3.000 = 15.000.000 token, atau 15 x $0,15 = $2,25. Output: 5.000 x 400 = 2.000.000 token, atau 2 x $0,50 = $1,00. Tagihan bulanan adalah $3,25. Lalu lintas tinggi yang berkelanjutan mengubah perhitungan matematika, dan GPU yang sudah dimiliki dan berjalan sepanjang waktu mungkin lebih menguntungkan. Bandingkan dengan angka listrik dan perangkat keras Anda sendiri, dan periksa harga penyedia lain saat ini sebelum memutuskan.

Saldo prabayar, tidak pernah habis, dan permintaan yang gagal atau ditolak tidak dikenakan biaya. Isi saldo dimulai dari $20 hingga $500 dengan bonus dari $50, dan Anda dapat membayar dengan kripto. Lihat harga untuk detailnya.

Hibrida yang masuk akal dan cara memulai

Anda tidak harus memilih satu. Kembangkan dan jalankan eksperimen pribadi di Ollama, lalu arahkan lalu lintas produksi ke URL ter-host dengan mengubah variabel lingkungan. Panduan kami tentang meng-host LLM sendiri mencantumkan apa yang diperlukan untuk pengaturan hosting mandiri, dan model Ollama tanpa sensor mencakup opsi lokal jika Anda lebih suka tetap offline.

Untuk mencoba endpoint, buat akun di halaman kunci API dan klaim kredit uji coba $0,50 dengan satu klik. Ini tidak memerlukan kartu, berlaku selama 7 hari, dan dibatasi satu per orang. Jalankan prompt asli Anda melalui itu sebelum memindahkan apa pun.

Tanya jawab

Apakah API terhost kompatibel dengan endpoint OpenAI Ollama?

Keduanya mengikuti format penyelesaian chat OpenAI, sehingga kode yang ditulis untuk rute /v1 Ollama biasanya hanya memerlukan URL dasar, kunci API, dan ID model baru.

Dapatkah saya menggunakan API asli Ollama terhadap layanan ini?

Tidak. Gunakan rute gaya OpenAI: /v1/chat/completions, /v1/responses dan /v1/models.

Dapatkah saya menjalankan model pilihan saya?

Tidak. Layanan menjalankan satu model bobot terbuka, dipilih dengan ID uncensored. Jika Anda perlu memilih bobot sendiri, lanjutkan menggunakan Ollama.

Apakah mendukung embedding?

Tidak. Ini hanya generasi teks, jadi pertahankan model penyematan lokal atau terpisah jika Anda membutuhkannya.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API

https://api.uncensoredllmhub.com/v1