Punti chiave
- I pesi del modello richiedono circa 2 byte per parametro a 16-bit, 1 a 8-bit e 0,5 a 4-bit, più spazio per la cache del contesto.
- Una GPU in affitto fattura ogni ora di accensione, mentre un'API fattura solo per i token che invii e ricevi.
- A $0,15 per 1M di token di input e $0,50 per 1M di token di output, 20.000 chat al giorno da 1.500 input e 500 output costano $285 al mese.
- L'auto-hosting vince quando ti servono il fine-tuning, un modello diverso, l'uso offline o un volume costante e molto elevato.
La risposta breve: dipende dal tuo volume
Se ti chiedi come ospitare i pesi LLM da soli, il quadro onesto è che è facile far rispondere un modello sulla tua macchina e difficile farlo girare a basso costo per altri. Un laptop o una GPU desktop bastano per uso personale. Un servizio che deve rispondere a molti utenti contemporaneamente, a qualsiasi ora, ha bisogno di più memoria, più ottimizzazione e qualcuno che lo mantenga attivo.
L'alternativa è chiamare un endpoint hostato compatibile con OpenAI e pagare per token. Per carichi di lavoro piccoli e medi è quasi sempre più economico, perché non paghi mai per il tempo GPU inattivo. Per carichi molto grandi e costanti, o per lavori che richiedono il tuo modello fine-tuned, possedere l'hardware inizia a avere senso. Le sezioni seguenti mettono i numeri su entrambi i lati così che tu possa trovare il tuo punto di pareggio.
Qui non c'è un piano gratuito. Puoi richiedere un credito di prova una tantum di $0,50 nella pagina della chiave API dopo aver effettuato l'accesso, e successivamente ricarichi credito prepagato da un minimo di $20. Il credito di prova è sufficiente per eseguire un test reale dei tuoi prompt prima di prendere qualsiasi decisione.
Cosa richiede davvero l'ospitare un modello
Un modello linguistico è un grande file di numeri, i pesi, che devono stare in memoria veloce mentre il modello gira. La dimensione di quel file è il primo vincolo, e puoi calcolarlo da solo: parametri moltiplicati per byte per parametro.
| Dimensioni del modello | Pesi a 16 bit | Pesi a 8-bit | Pesi a 4 bit |
|---|---|---|---|
| 8B parametri | 16 GB | 8 GB | 4 GB |
| 32B parametri | 64 GB | 32 GB | 16 GB |
| 70B parametri | 140 GB | 70 GB | 35 GB |
Questi sono solo i pesi. Oltre a quelli ti serve memoria per la cache key-value, che cresce con la lunghezza di ogni conversazione attiva, e un po' di margine per il runtime. Un modello che nominalmente entra in 24 GB può rimanere senza memoria nel momento in cui chiedi un contesto lungo o diversi utenti in parallelo. La quantizzazione a 4-bit riduce il file, ma cambia anche un po' la qualità dell'output, e l'effetto varia da modello a modello.
Poi c'è l'aspetto software. Ti serve un server di inferenza come llama.cpp, Ollama o vLLM, un livello HTTP per permettere alle tue app di chiamarlo, un modo per riavviarlo in caso di crash e un monitoraggio per accorgertene. Nessuno di questi elementi è difficile da solo. Tutti richiedono tempo, e il tempo è parte del costo.
Opzione uno: eseguirlo sul tuo computer
Il modo più economico per iniziare è la macchina che possiedi già. Strumenti come Ollama e llama.cpp scaricano un modello ed espongono un server locale, e molti di loro offrono anche un endpoint in stile OpenAI, così che il codice che scrivi contro di loro possa poi puntare a un'API ospitata cambiando due impostazioni.
L'hosting locale è una buona scelta quando:
- sei una persona che sperimenta, e qualche secondo per risposta va bene;
- i dati non devono mai lasciare la macchina;
- vuoi provare rapidamente molti modelli open diversi;
- hai una GPU con abbastanza memoria e sta inattiva per la maggior parte della giornata.
È una soluzione inadeguata quando devi servire altri utenti, quando il modello che vuoi è più grande della tua memoria, o quando vuoi contesti lunghi. Il nostro confronto tra modelli locali senza censura e API ospitate analizza i compromessi in modo più dettagliato, inclusa la differenza di qualità tra modelli locali piccoli e quelli ospitati più grandi.
L'elettricità è una voce reale ma piccola per un singolo utente. Il costo maggiore è l'hardware che hai dovuto comprare, che paghi indipendentemente dall'uso. Se lo possiedi già, il costo marginale è basso e l'hosting locale è difficile da battere per esperimenti privati.
Opzione due: affitta un server GPU
Quando la tua macchina non basta, il passo successivo è una GPU in affitto. I provider fatturano all'ora per una macchina con una data quantità di memoria GPU. I prezzi variano molto tra provider e cambiano spesso, quindi controlla i loro prezzi attuali invece di fidarti di qualsiasi numero che leggi in un articolo, incluso questo.
Quello che conta è la forma del conto. Un server in affitto si paga per ogni ora di accensione, che risponda a una richiesta o nessuna. Se lo lasci acceso tutto il mese, il calcolo è semplice: un mese ha circa 730 ore (8,760 ore in un anno divise per 12). Supponiamo, solo come esempio ipotetico e non come preventivo, che un server adatto costi $1 all'ora. Tenerlo acceso 24 ore su 24 costa 730 × $1 = $730 al mese prima di aggiungere storage, banda e il tuo tempo.
Puoi spegnere il server quando non lo usi, ma paghi con i ritardi: caricare un modello grande in memoria richiede tempo, e il primo utente dopo una pausa aspetta che carichi. Le configurazioni di scalabilità automatica riducono questo problema, ma aggiungono complessità.
Il punto di pareggio contro un'API deriva dal prezzo. Un milione di token di input più un milione di token di output costano $0,15 + $0,50 = $0,65 su questa API. Il tuo server assunto da $730 equivale a 730 ÷ 0,65 ≈ 1.123 di queste coppie, o circa 1,1 miliardi di token di input e 1,1 miliardi di token di output in un mese. Sotto quel volume, l'API costa meno. Sopra, un server ben utilizzato può vincere, purché possa davvero tenere il passo con quel traffico, che dipende dal modello, dalla GPU e da quanto bene ottimizzi il server.
Opzione tre: usa un'API ospitata
La via API elimina l'hardware, il server e il tempo morto. Invii una richiesta, ricevi una risposta e paghi per i token usati. I prezzi sono $0,15 per 1M di token in input e $0,50 per 1M di token in output, pagamento a consumo da credito prepagato, senza abbonamento. Il credito non scade mai, e le richieste fallite o rifiutate non vengono addebitate.
Ecco come appare a tre volumi realistici. Si assume che un turno di chat tipico usi 1.500 token di input (prompt di sistema più cronologia) e 500 token di output.
- Una richiesta: 1.500 token di input costano 0,0015 × $0,15 = $0,000225, e 500 token di output costano 0,0005 × $0,50 = $0,00025. Insieme sono $0,000475.
- 1.000 chat al giorno, 30 giorni: 1.000 × $0,000475 = $0,475 al giorno, o $14,25 al mese.
- 20.000 chat al giorno, 30 giorni: 20.000 × $0,000475 = $9,50 al giorno, o $285 al mese.
- Un lavoro batch di 100.000 richieste con 2.000 input e 400 output token ciascuno: l'input è 200M di token, quindi 200 × $0,15 = $30; l'output è 40M di token, quindi 40 × $0,50 = $20. Il totale è $50.
Al numero medio, l'API costa $285 al mese, che è ben al di sotto dei $730 assunti per un server sempre acceso. Alla cifra più grande avresti bisogno di molto più traffico prima che un server in affitto raggiunga lo stesso livello. I tuoi prompt decidono i numeri reali, quindi misura un campione invece di indovinare. Il blocco di utilizzo che torna con ogni risposta ti dice i conteggi esatti dei token.
Il credito di prova di $0,50 copre circa 1.052 richieste della dimensione 1.500 input, 500 output (0,50 ÷ 0,000475 ≈ 1.052), che è più che sufficiente per un test. Dopo ricarichi con qualsiasi importo intero da $20 a $500. Ricarichi più grandi hanno un bonus: +5% da $50, +10% da $100 e +15% da $200, così una ricarica di $100 dà $110 di credito. I dettagli sono nella pagina dei prezzi. Il pagamento è con carta (Visa, Mastercard, Apple Pay, Google Pay) o cripto (USDT su TRC20, USDC su Base).
Cosa perdi non ospitando
Un'API non è priva di compromessi, ed è meglio conoscerli prima di costruirci sopra.
- Un solo modello. Ottieni un unico modello a pesi aperti, indirizzato come
uncensored. Non puoi sostituirlo con un altro o caricare i tuoi pesi. - Nessun fine-tuning e solo testo. Non c'è un endpoint di training, né embeddings né generazione di immagini, audio o video.
- Limiti. Una chiave completa permette 8 richieste parallele e 300 richieste al minuto. Una chiave di prova ne permette 2 e 60. Questo va bene per la maggior parte delle app, ma un batch molto grande richiede accodamento da parte tua.
- Contesto. La finestra è di 100.000 token per prompt più completamento.
- I tuoi dati escono dalla tua rete. I prompt non sono usati per il training, ma viaggiano verso un terzo. Se questo non è accettabile per un dato dataset, ospita localmente.
L'auto-hosting è la scelta migliore quando una di queste è un requisito hard: fine-tuning sui tuoi dati, un modello specifico che l'API non offre, funzionamento completamente offline, o un volume costante abbastanza grande che l'hardware posseduto resta occupato 24 ore su 24.
Prova l'API prima di comprare hardware
Un test di un'ora costa meno di un'ora sola della maggior parte dei server in affitto e ti dice se il modello risponde bene ai tuoi prompt. L'endpoint è compatibile con OpenAI, così se hai già codice che parla con un server locale, cambi solo l'URL di base, la chiave e l'ID del modello. Questo script riporta anche quanto è costata ogni chiamata, usando i numeri di utilizzo nella risposta:
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)
u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")Esegui lo script su alcune decine dei tuoi prompt reali, somma le righe di costo e moltiplica per il volume giornaliero previsto. Questo ti dà un numero da affiancare al preventivo dell'hardware. Se vuoi i dettagli della configurazione, la documentazione elenca i parametri supportati, inclusi streaming, chiamata di funzioni e modalità JSON.
