Poin utama
- Bobot model membutuhkan sekitar 2 byte per parameter pada 16-bit, 1 pada 8-bit, dan 0,5 pada 4-bit, ditambah ruang untuk cache konteks.
- GPU yang disewa menagih setiap jam saat aktif, sedangkan API menagih hanya untuk token yang Anda kirim dan terima.
- Pada $0,15 per 1 juta token input dan $0,50 per 1 juta token output, 20.000 obrolan sehari dengan 1.500 input dan 500 output biaya $285 per bulan.
- Hosting mandiri menang ketika Anda membutuhkan penyesuaian halus, model yang berbeda, penggunaan offline, atau volume yang stabil dan sangat tinggi.
Jawaban singkatnya: itu tergantung pada volume Anda
Jika Anda bertanya cara meng-host bobot LLM sendiri, ringkasan jujurnya adalah mudah mendapatkan model yang menjawab di mesin Anda sendiri dan sulit menjalankannya dengan murah untuk orang lain. Laptop atau GPU desktop sudah cukup untuk penggunaan pribadi. Layanan yang harus menjawab banyak pengguna sekaligus, kapan saja, membutuhkan lebih banyak memori, penyetelan lebih banyak, dan seseorang untuk menjaganya tetap hidup.
Alternatifnya adalah memanggil endpoint kompatibel OpenAI yang di-host dan membayar per token. Untuk beban kerja kecil dan menengah, ini hampir selalu lebih murah karena Anda tidak pernah membayar waktu GPU menganggur. Untuk beban kerja sangat besar dan stabil, atau untuk pekerjaan yang membutuhkan model fine-tuning Anda sendiri, memiliki perangkat keras mulai masuk akal. Bagian-bagian di bawah ini memberikan angka di kedua sisi sehingga Anda dapat menemukan titik impas Anda sendiri.
Tidak ada paket gratis di sini. Anda bisa mengklaim kredit uji coba satu kali sebesar $0.50 di halaman kunci API setelah mendaftar, dan setelah itu Anda menambahkan kredit prabayar mulai dari $20. Kredit uji coba cukup untuk menjalankan pengujian nyata terhadap prompt Anda sendiri sebelum Anda memutuskan apa pun.
Apa sebenarnya yang dibutuhkan untuk meng-host model
Model bahasa adalah file besar berisi angka, bobot, yang harus berada di memori cepat saat model berjalan. Ukuran file tersebut adalah batasan pertama, dan Anda dapat menghitungnya sendiri: parameter dikalikan dengan byte per parameter.
| Ukuran model | Bobot 16-bit | Bobot 8-bit | Bobot 4-bit |
|---|---|---|---|
| Parameter 8B | 16 GB | 8 GB | 4 GB |
| Parameter 32 miliar | 64 GB | 32 GB | 16 GB |
| Parameter 70 miliar | 140 GB | 70 GB | 35 GB |
Ini hanya bobot. Di atas itu Anda membutuhkan memori untuk cache kunci-nilai, yang tumbuh seiring panjang setiap percakapan aktif, dan beberapa ruang cadangan untuk waktu eksekusi. Model yang secara nominal muat dalam 24 GB dapat kehabisan memori begitu Anda meminta konteks panjang atau beberapa pengguna paralel. Kuantisasi ke 4-bit mengecilkan file, tetapi juga mengubah kualitas output sedikit, dan efeknya bervariasi tergantung model.
Lalu ada sisi perangkat lunak. Anda memerlukan server inferensi seperti llama.cpp, Ollama, atau vLLM, lapisan HTTP agar aplikasi Anda dapat memanggilnya, cara untuk memulai ulang saat crash, dan pemantauan agar Anda menyadari saat hal itu terjadi. Tidak ada yang sulit secara terisolasi. Semua itu membutuhkan waktu, dan waktu adalah bagian dari biaya.
Opsi satu: jalankan di komputer Anda sendiri
Cara termurah untuk memulai adalah mesin yang sudah Anda miliki. Alat seperti Ollama dan llama.cpp mengunduh model dan mengekspos server lokal, dan banyak di antaranya juga menawarkan endpoint bergaya OpenAI, sehingga kode yang Anda tulis terhadapnya nanti dapat mengarah ke API yang di-host dengan mengubah dua pengaturan.
Hosting lokal cocok ketika:
- Anda adalah satu orang yang bereksperimen, dan beberapa detik per jawaban sudah dapat diterima;
- data tidak boleh pernah meninggalkan mesin;
- Anda ingin mencoba banyak model open-weight yang berbeda dengan cepat;
- Anda memiliki GPU dengan memori yang cukup dan menganggur sebagian besar hari.
Ini adalah kecocokan yang lemah ketika Anda perlu melayani orang lain, ketika model yang Anda inginkan lebih besar dari memori Anda, atau ketika Anda menginginkan konteks panjang. Perbandingan kami sendiri tentang model lokal tanpa sensor dan API yang di-hosting membahas kompromi secara lebih rinci, termasuk apa yang berubah dalam kualitas jawaban antara model lokal kecil dan model yang di-hosting yang lebih besar.
Listrik adalah pos biaya nyata tetapi kecil untuk pengguna tunggal. Biaya yang lebih besar adalah perangkat keras yang harus Anda beli, yang Anda bayar apakah Anda menggunakannya atau tidak. Jika Anda sudah memilikinya, biaya marjinalnya rendah dan hosting lokal sulit dikalahkan untuk eksperimen pribadi.
Opsi dua: sewa server GPU
Ketika mesin Anda sendiri tidak cukup, langkah selanjutnya adalah GPU yang disewa. Penyedia membebankan biaya per jam untuk mesin dengan jumlah memori GPU tertentu. Harga sangat bervariasi antar penyedia dan sering berubah, jadi periksa harga mereka saat ini daripada mempercayai angka apa pun yang Anda baca di artikel, termasuk ini.
Yang penting adalah bentuk tagihan. Server sewaan membebankan biaya untuk setiap jam server menyala, apakah itu menjawab satu permintaan atau tidak. Jika Anda membiarkannya menyala sepanjang bulan, perhitungannya sederhana: satu bulan memiliki sekitar 730 jam (8.760 jam dalam setahun dibagi 12). Misalkan, murni sebagai contoh asumsi dan bukan kutipan, bahwa server yang sesuai berharga $1 per jam. Menjalankannya 24 jam setiap hari maka biayanya 730 × $1 = $730 per bulan sebelum Anda menambahkan penyimpanan, bandwidth, dan waktu Anda sendiri.
Anda dapat mematikan server saat tidak menggunakannya, tetapi kemudian Anda membayar dengan penundaan: memuat model besar ke dalam memori membutuhkan waktu, dan pengguna pertama setelah jeda menunggu untuk itu. Penyetelan autoscaling mengurangi ini, dan menambah kompleksitasnya sendiri.
Titik impas terhadap API ditentukan oleh harga. Satu juta token input ditambah satu juta token output berharga $0,15 + $0,50 = $0,65 di API ini. Server yang diasumsikan senilai $730 setara dengan 730 ÷ 0,65 ≈ 1.123 pasangan seperti itu, atau sekitar 1,1 miliar token input dan 1,1 miliar token output dalam sebulan. Di bawah volume itu, biaya API lebih murah. Di atasnya, server yang termanfaatkan dengan baik dapat menang, asalkan dapat benar-benar mengimbangi lalu lintas itu, yang bergantung pada model, GPU, dan seberapa baik Anda menyetel server.
Opsi tiga: gunakan API yang di-host
Rute API menghilangkan perangkat keras, server dan waktu menganggur. Anda mengirim permintaan, Anda mendapatkan jawaban, dan Anda membayar token yang digunakan. Penetapan harga di sini adalah $0,15 per 1 juta token input dan $0,50 per 1 juta token output, bayar sesuai penggunaan dari saldo prabayar, tanpa langganan. Saldo tidak pernah kedaluwarsa, dan permintaan yang gagal atau ditolak tidak dikenakan biaya.
Berikut adalah tampilannya pada tiga volume realistis. Satu giliran obrolan tipikal diasumsikan menggunakan 1.500 token input (prompt sistem ditambah riwayat) dan 500 token output.
- Satu permintaan: 1.500 token input biaya 0,0015 × $0,15 = $0,000225, dan 500 token output biaya 0,0005 × $0,50 = $0,00025. Bersama-sama itu adalah $0,000475.
- 1.000 obrolan sehari, 30 hari: 1.000 × $0,000475 = $0,475 sehari, atau $14,25 sebulan.
- 20.000 obrolan sehari, 30 hari: 20.000 × $0,000475 = $9,50 sehari, atau $285 sebulan.
- Pekerjaan batch 100.000 permintaan dengan 2.000 input dan 400 output token masing-masing: input adalah 200 juta token, jadi 200 × $0,15 = $30; output adalah 40 juta token, jadi 40 × $0,50 = $20. Totalnya adalah $50.
Pada angka tengah, biaya API adalah $285 per bulan, yang jauh di bawah asumsi $730 untuk server yang selalu aktif. Pada angka terbesar, Anda memerlukan lalu lintas jauh lebih besar sebelum server sewaan menyamai. Prompt Anda sendiri menentukan angka sebenarnya, jadi ukur sampel daripada menebak. Blok penggunaan yang kembali dengan setiap respons memberi tahu Anda jumlah token yang tepat.
Kredit uji coba $0,50 mencakup sekitar 1.052 permintaan dari ukuran 1.500 masuk, 500 keluar (0,50 ÷ 0,000475 ≈ 1.052), yang cukup untuk tes. Setelah itu Anda isi saldo dengan jumlah bulat apa pun dari $20 hingga $500. Top-up yang lebih besar membawa bonus: +5% dari $50, +10% dari $100 dan +15% dari $200, sehingga top-up $100 memberikan $110 kredit. Detailnya ada di halaman harga. Pembayaran dengan kartu (Visa, Mastercard, Apple Pay, Google Pay) atau kripto (USDT di TRC20, USDC di Base).
Apa yang Anda korbankan dengan tidak meng-host
API tidak bebas dari trade-off, dan lebih baik mengetahuinya sebelum Anda membangun di atasnya.
- Satu model. Anda mendapatkan satu model bobot terbuka, yang dialamatkan sebagai
uncensored. Anda tidak dapat menukarnya dengan yang lain atau memuat bobot Anda sendiri. - Tidak ada penyesuaian halus dan hanya teks. Tidak ada endpoint pelatihan, tidak ada embedding dan tidak ada generasi gambar, audio atau video.
- Batasan. Kunci penuh memungkinkan 8 permintaan paralel dan 300 permintaan per menit. Kunci uji coba memungkinkan 2 dan 60. Itu cocok untuk sebagian besar aplikasi, tetapi batch yang sangat besar memerlukan antrian di sisi Anda.
- Konteks. Jendela konteks adalah 100.000 token untuk prompt plus penyelesaian.
- Data Anda meninggalkan jaringan Anda. Prompt tidak digunakan untuk pelatihan, tetapi mereka tetap dikirim ke pihak ketiga. Jika itu tidak dapat diterima untuk dataset tertentu, host secara lokal.
Self-hosting adalah pilihan yang lebih baik ketika salah satu dari ini adalah persyaratan keras: fine-tuning pada data Anda sendiri, model spesifik yang tidak ditawarkan API, operasi sepenuhnya offline, atau volume stabil yang cukup besar sehingga perangkat keras yang dimiliki tetap sibuk 24 jam nonstop.
Coba API sebelum membeli perangkat keras
Tes satu jam biaya kurang dari satu jam dari sebagian besar server yang disewa dan memberi tahu Anda apakah model menjawab prompt Anda dengan baik. Endpoint kompatibel OpenAI, jadi jika Anda sudah memiliki kode yang berbicara dengan server lokal, Anda hanya mengubah base URL, kunci, dan ID model. Skrip ini juga melaporkan berapa biaya setiap panggilan, menggunakan angka penggunaan dalam respons:
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)
u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")Jalankan pada beberapa lusin prompt nyata Anda, jumlahkan baris biaya, dan kalikan dengan volume harian yang Anda harapkan. Itu memberi Anda angka yang dapat Anda bandingkan dengan kutipan perangkat keras. Jika Anda ingin detail penyiapan, dokumentasi mencantumkan parameter yang didukung, termasuk streaming, pemanggilan fungsi, dan mode JSON.
