Punti chiave
- Ollama è eccellente per lavoro privato, offline e per un singolo utente; un endpoint in hosting vince quando hai bisogno di concorrenza e accesso sempre attivo.
- Il passaggio richiede due righe per la maggior parte delle app: base URL e ID del modello.
- Questo servizio offre una finestra di 100.000 token, 8 richieste parallele per chiave completa e prezziatura a consumo.
- Mantieni Ollama per gli esperimenti e usa l'API in hosting per il traffico di produzione. Molte squadre usano entrambe le soluzioni.
Risposta breve: chi dovrebbe effettuare il passaggio
Resta su Ollama se lavori da solo, vuoi tutto offline o ti piace scegliere e sostituire i pesi tu stesso. È gratuito da eseguire, privato per costruzione e la sua modalità compatibile con OpenAI su /v1 rende facile l'integrazione.
Valuta un'alternativa all'API Ollama se è vera una di queste condizioni: più persone o processi chiamano il modello contemporaneamente, hai bisogno che il servizio sia attivo mentre il tuo computer va in standby, i tuoi prompt sono lunghi e la memoria della tua GPU non basta, o passi più tempo a gestire il server che a costruire il prodotto. Un endpoint in hosting trasforma il modello in un URL e una chiave. Scambi il controllo sui pesi con l'assenza di hardware da gestire.
Questo sito è uno di questi endpoint: un'API testuale compatibile con OpenAI che esegue un unico modello a pesi aperti, ottimizzato per rispondere senza rifiuti di contenuto per uso adulto legale. Non è un'API ufficiale di alcun fornitore di modelli. I dettagli sono nella documentazione.
Ollama locale e un endpoint in hosting, a confronto
| Argomento | Ollama locale | Endpoint in hosting qui |
|---|---|---|
| Modello di costo | Il tuo hardware e energia | $0,15 per 1M token di input, $0,50 per 1M token di output |
| Concorrenza | Limitato dalla tua GPU e dalle impostazioni come gli slot paralleli | 8 richieste parallele con una chiave completa |
| Contesto | Impostato per modello; limitato dalla VRAM | 100.000 token, prompt più completamento |
| Disponibilità | Finché la tua macchina è accesa | Sempre raggiungibile via HTTPS |
| Privacy | I dati non escono mai dalla macchina | I prompt non sono usati per l'addestramento |
| Scelta del modello | Qualsiasi modello scaricabile e compatibile | Un modello, ID uncensored |
| Configurazione | Installa, scarica i pesi, regola | Crea una chiave, imposta l'URL di base |
L'ultima riga sulla privacy richiede onestà. L'esecuzione locale è più forte sotto questo aspetto. Se un documento non deve mai lasciare la tua rete, eseguilo in locale. Se ti serve solo che i prompt non alimentino il set di addestramento di qualcuno, un servizio in hosting che lo garantisce è accettabile per molti progetti.
Concorrenza e disponibilità
Ollama può servire richieste parallele, ma la capacità di elaborazione è limitata dalla tua GPU. Quando diverse chiamate si sovrappongono, ciascuna rallenta e una richiesta che richiede un cambio di modello può bloccare la coda. Per un singolo sviluppatore questo raramente conta. Per un bot con venti chat aperte, invece, sì.
Con una chiave completa qui ottieni 8 richieste concorrenti e 300 richieste al minuto. Una chiave di prova ne ottiene 2 e 60. Quando superi i limiti, l'API risponde con HTTP 429: il codice di errore rate_limited indica troppe richieste al minuto, concurrency indica troppe richieste contemporanee e un'intestazione Retry-After: 5 segnala un sovraccarico temporaneo. Il tuo client dovrebbe attendere e riprovare. Una richiesta in streaming mantiene il suo slot fino alla fine dello streaming, quindi chiudi gli stream che non leggi più.
Non cito le percentuali di uptime perché non sono pubblicate per questo servizio. Se l'uptime è un requisito fondamentale, testalo con il tuo traffico durante il periodo di prova e mantieni un piano di riserva.
Lunghezza del contesto e memoria
Il contesto è dove le configurazioni locali subiscono la pressione. La cache key-value cresce con ogni token, quindi un prompt lungo compete con i pesi del modello per la memoria della GPU. Ollama ti permette di aumentare il contesto per modello, ma una finestra più grande su una scheda consumer spesso significa un modello più piccolo o più quantizzato.
Qui la finestra è di 100.000 token e il completamento può usare tutto ciò che rimane, quindi max_tokens è opzionale. È sufficiente per un documento lungo più una risposta lunga, o una cronologia di roleplay che dura ore. Gli input grandi hanno un costo, che puoi calcolare esattamente: un prompt da 60.000 token costa 60.000 / 1.000.000 x $0,15 = $0,009, e una risposta da 2.000 token costa 2.000 / 1.000.000 x $0,50 = $0,001. Una chiamata con un documento lungo si attesta vicino a un centesimo.
Cosa cambia nel tuo codice
Se chiami già Ollama tramite il suo endpoint compatibile con OpenAI, devi modificare l'URL di base, la chiave e il nome del modello. Nient'altro.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Lo streaming funziona allo stesso modo. Questo esempio Node usa il pacchetto ufficiale OpenAI.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Se hai usato le rotte native /api/chat di Ollama, devi apportare una piccola modifica al formato dei completamenti chat, rinominando principalmente i campi. Sono supportati la chiamata di funzioni (tools, tool_choice), la modalità JSON (response_format) e i parametri di campionamento. Gli endpoint disponibili sono POST /v1/chat/completions, POST /v1/responses e GET /v1/models. Non esiste un endpoint per gli embedding, quindi se la tua app usa Ollama per gli embedding, mantieni quella parte in locale.
Costi: quando l'hosting risulta più economico
Il locale non è gratuito. Una GPU che esegue un modello di medie dimensioni costa da acquistare, consuma energia e resta inattiva tra una richiesta e l'altra. Un'API in hosting addebita solo per i token, quindi un utilizzo basso e intermittente favorisce nettamente l'hosting.
Un esempio pratico: un'app chat con 5.000 richieste al mese, ognuna con 3.000 token di input e 400 token di output. Input: 5.000 x 3.000 = 15.000.000 token, ovvero 15 x $0,15 = $2,25. Output: 5.000 x 400 = 2.000.000 token, ovvero 2 x $0,50 = $1,00. Il conto mensile è di $3,25. Un traffico sostenuto e intenso cambia i calcoli, e una GPU già in tuo possesso che gira 24 ore su 24 potrebbe convenire. Confronta con i tuoi costi energetici e hardware e controlla i prezzi attuali di altri provider prima di decidere.
Il credito è prepagato, non scade mai e le richieste fallite o rifiutate non vengono addebitate. Le ricariche vanno da $20 a $500 con bonus da $50, e puoi pagare con cripto. Vedi prezzi per i dettagli.
Un ibrido sensato e come iniziare
Non devi sceglierne uno solo. Sviluppa ed esegui esperimenti privati su Ollama, quindi indirizza il traffico di produzione verso l'URL ospitato in autonomia modificando una variabile d'ambiente. La nostra guida su ospitare un LLM in autonomia elenca cosa comporta un'installazione self-hosted, e modelli Ollama uncensored copre le opzioni locali se preferisci restare offline.
Per provare l'endpoint, crea un account nella pagina delle chiavi API e richiedi il credito di prova di $0,50 con un clic. Non serve la carta, dura 7 giorni ed è limitato a uno per persona. Esegui i tuoi prompt reali prima di effettuare la migrazione.

