IT ▾

Inizia con il credito di prova

E-mail e password, la chiave compare subito sullo schermo.

https://api.uncensoredllmhub.com/v1

Alternativa API Ollama: quando usare un endpoint in hosting

Un'alternativa all'API Ollama ha senso quando la tua app supera le capacità di una singola macchina: più utenti contemporanei, prompt più lunghi o un laptop che preferiresti non lasciare acceso. Questo articolo confronta Ollama locale con un endpoint OpenAI compatibile in hosting e mostra la piccola modifica al codice per il passaggio.

Aggiornato

Un computer locale collegato a un server in hosting, che illustra il passaggio da Ollama a un'API in hosting
Rack del server e bilancia con monete accanto a una nuvola luminosa, che confronta l'auto-hosting con un'API

Punti chiave

  • Ollama è eccellente per lavoro privato, offline e per un singolo utente; un endpoint in hosting vince quando hai bisogno di concorrenza e accesso sempre attivo.
  • Il passaggio richiede due righe per la maggior parte delle app: base URL e ID del modello.
  • Questo servizio offre una finestra di 100.000 token, 8 richieste parallele per chiave completa e prezziatura a consumo.
  • Mantieni Ollama per gli esperimenti e usa l'API in hosting per il traffico di produzione. Molte squadre usano entrambe le soluzioni.

Risposta breve: chi dovrebbe effettuare il passaggio

Resta su Ollama se lavori da solo, vuoi tutto offline o ti piace scegliere e sostituire i pesi tu stesso. È gratuito da eseguire, privato per costruzione e la sua modalità compatibile con OpenAI su /v1 rende facile l'integrazione.

Valuta un'alternativa all'API Ollama se è vera una di queste condizioni: più persone o processi chiamano il modello contemporaneamente, hai bisogno che il servizio sia attivo mentre il tuo computer va in standby, i tuoi prompt sono lunghi e la memoria della tua GPU non basta, o passi più tempo a gestire il server che a costruire il prodotto. Un endpoint in hosting trasforma il modello in un URL e una chiave. Scambi il controllo sui pesi con l'assenza di hardware da gestire.

Questo sito è uno di questi endpoint: un'API testuale compatibile con OpenAI che esegue un unico modello a pesi aperti, ottimizzato per rispondere senza rifiuti di contenuto per uso adulto legale. Non è un'API ufficiale di alcun fornitore di modelli. I dettagli sono nella documentazione.

Ollama locale e un endpoint in hosting, a confronto

ArgomentoOllama localeEndpoint in hosting qui
Modello di costoIl tuo hardware e energia$0,15 per 1M token di input, $0,50 per 1M token di output
ConcorrenzaLimitato dalla tua GPU e dalle impostazioni come gli slot paralleli8 richieste parallele con una chiave completa
ContestoImpostato per modello; limitato dalla VRAM100.000 token, prompt più completamento
DisponibilitàFinché la tua macchina è accesaSempre raggiungibile via HTTPS
PrivacyI dati non escono mai dalla macchinaI prompt non sono usati per l'addestramento
Scelta del modelloQualsiasi modello scaricabile e compatibileUn modello, ID uncensored
ConfigurazioneInstalla, scarica i pesi, regolaCrea una chiave, imposta l'URL di base

L'ultima riga sulla privacy richiede onestà. L'esecuzione locale è più forte sotto questo aspetto. Se un documento non deve mai lasciare la tua rete, eseguilo in locale. Se ti serve solo che i prompt non alimentino il set di addestramento di qualcuno, un servizio in hosting che lo garantisce è accettabile per molti progetti.

Concorrenza e disponibilità

Ollama può servire richieste parallele, ma la capacità di elaborazione è limitata dalla tua GPU. Quando diverse chiamate si sovrappongono, ciascuna rallenta e una richiesta che richiede un cambio di modello può bloccare la coda. Per un singolo sviluppatore questo raramente conta. Per un bot con venti chat aperte, invece, sì.

Con una chiave completa qui ottieni 8 richieste concorrenti e 300 richieste al minuto. Una chiave di prova ne ottiene 2 e 60. Quando superi i limiti, l'API risponde con HTTP 429: il codice di errore rate_limited indica troppe richieste al minuto, concurrency indica troppe richieste contemporanee e un'intestazione Retry-After: 5 segnala un sovraccarico temporaneo. Il tuo client dovrebbe attendere e riprovare. Una richiesta in streaming mantiene il suo slot fino alla fine dello streaming, quindi chiudi gli stream che non leggi più.

Non cito le percentuali di uptime perché non sono pubblicate per questo servizio. Se l'uptime è un requisito fondamentale, testalo con il tuo traffico durante il periodo di prova e mantieni un piano di riserva.

Lunghezza del contesto e memoria

Il contesto è dove le configurazioni locali subiscono la pressione. La cache key-value cresce con ogni token, quindi un prompt lungo compete con i pesi del modello per la memoria della GPU. Ollama ti permette di aumentare il contesto per modello, ma una finestra più grande su una scheda consumer spesso significa un modello più piccolo o più quantizzato.

Qui la finestra è di 100.000 token e il completamento può usare tutto ciò che rimane, quindi max_tokens è opzionale. È sufficiente per un documento lungo più una risposta lunga, o una cronologia di roleplay che dura ore. Gli input grandi hanno un costo, che puoi calcolare esattamente: un prompt da 60.000 token costa 60.000 / 1.000.000 x $0,15 = $0,009, e una risposta da 2.000 token costa 2.000 / 1.000.000 x $0,50 = $0,001. Una chiamata con un documento lungo si attesta vicino a un centesimo.

Cosa cambia nel tuo codice

Se chiami già Ollama tramite il suo endpoint compatibile con OpenAI, devi modificare l'URL di base, la chiave e il nome del modello. Nient'altro.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Lo streaming funziona allo stesso modo. Questo esempio Node usa il pacchetto ufficiale OpenAI.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Se hai usato le rotte native /api/chat di Ollama, devi apportare una piccola modifica al formato dei completamenti chat, rinominando principalmente i campi. Sono supportati la chiamata di funzioni (tools, tool_choice), la modalità JSON (response_format) e i parametri di campionamento. Gli endpoint disponibili sono POST /v1/chat/completions, POST /v1/responses e GET /v1/models. Non esiste un endpoint per gli embedding, quindi se la tua app usa Ollama per gli embedding, mantieni quella parte in locale.

Costi: quando l'hosting risulta più economico

Il locale non è gratuito. Una GPU che esegue un modello di medie dimensioni costa da acquistare, consuma energia e resta inattiva tra una richiesta e l'altra. Un'API in hosting addebita solo per i token, quindi un utilizzo basso e intermittente favorisce nettamente l'hosting.

Un esempio pratico: un'app chat con 5.000 richieste al mese, ognuna con 3.000 token di input e 400 token di output. Input: 5.000 x 3.000 = 15.000.000 token, ovvero 15 x $0,15 = $2,25. Output: 5.000 x 400 = 2.000.000 token, ovvero 2 x $0,50 = $1,00. Il conto mensile è di $3,25. Un traffico sostenuto e intenso cambia i calcoli, e una GPU già in tuo possesso che gira 24 ore su 24 potrebbe convenire. Confronta con i tuoi costi energetici e hardware e controlla i prezzi attuali di altri provider prima di decidere.

Il credito è prepagato, non scade mai e le richieste fallite o rifiutate non vengono addebitate. Le ricariche vanno da $20 a $500 con bonus da $50, e puoi pagare con cripto. Vedi prezzi per i dettagli.

Un ibrido sensato e come iniziare

Non devi sceglierne uno solo. Sviluppa ed esegui esperimenti privati su Ollama, quindi indirizza il traffico di produzione verso l'URL ospitato in autonomia modificando una variabile d'ambiente. La nostra guida su ospitare un LLM in autonomia elenca cosa comporta un'installazione self-hosted, e modelli Ollama uncensored copre le opzioni locali se preferisci restare offline.

Per provare l'endpoint, crea un account nella pagina delle chiavi API e richiedi il credito di prova di $0,50 con un clic. Non serve la carta, dura 7 giorni ed è limitato a uno per persona. Esegui i tuoi prompt reali prima di effettuare la migrazione.

Domande e risposte

L'API in hosting è compatibile con l'endpoint OpenAI di Ollama?

Entrambi seguono il formato dei completamenti chat di OpenAI, quindi il codice scritto per la rotta /v1 di Ollama di solito richiede solo un nuovo URL di base, una chiave e un ID del modello.

Posso usare l'API nativa di Ollama con questo servizio?

No. Usa gli endpoint in stile OpenAI: /v1/chat/completions, /v1/responses e /v1/models.

Posso eseguire un modello a mia scelta?

No. Il servizio esegue un unico modello a pesi aperti, identificato dall'ID uncensored. Se devi scegliere tu i pesi, continua a usare Ollama.

Supporta gli embedding?

No. È solo generazione di testo, quindi mantieni un modello di embedding locale o separato se ne hai bisogno.

La tua chiave è a un modulo di distanza

Crea un account, copia la chiave, modifica l'URL di base. È tutta la configurazione.

Ottieni la chiave API

https://api.uncensoredllmhub.com/v1