Points clés
- Ollama est excellent pour un travail privé, hors ligne et mono-utilisateur ; un endpoint hébergé gagne en concurrence et offre un accès toujours actif.
- La migration ne nécessite que deux lignes pour la plupart des applications : URL de base et ID de modèle.
- Ce service offre une fenêtre de contexte de 100 000 tokens, 8 requêtes simultanées avec une clé complète, et un paiement à l'usage.
- Conservez Ollama pour les expériences et utilisez l'API hébergée pour le trafic de production. De nombreuses équipes utilisent les deux.
Réponse courte : qui devrait migrer
Restez sur Ollama si vous travaillez seul, voulez tout hors ligne, ou aimez choisir et échanger les poids vous-même. Il est gratuit à exécuter, privé par construction, et son mode compatible OpenAI à /v1 facilite le développement.
Considérez une alternative API Ollama si l'une de ces conditions est vraie : plusieurs personnes ou processus appellent le modèle simultanément, vous avez besoin du service actif pendant que votre ordinateur se met en veille, vos prompts sont longs et la mémoire GPU est insuffisante, ou vous passez plus de temps à surveiller le serveur qu'à développer le produit. Un endpoint hébergé transforme le modèle en une URL et une clé. Vous échangez le contrôle des poids contre l'absence de matériel à gérer.
Ce site est un tel endpoint : une API textuelle compatible OpenAI exécutant un modèle à poids ouverts, optimisé pour répondre sans refus de contenu pour un usage adulte légal. Ce n'est pas l'API officielle d'un fournisseur de modèle. Les détails sont dans la documentation.
Ollama local et un endpoint hébergé, côte à côte
| Sujet | Ollama local | Endpoint hébergé ici |
|---|---|---|
| Modèle de coût | Votre matériel et votre énergie | 0,15 $ par 1M de tokens d'entrée, 0,50 $ par 1M de tokens de sortie |
| Concurrence | Limité par votre GPU et les paramètres comme les fentes parallèles | 8 requêtes simultanées sur une clé complète |
| Contexte | Défini par modèle ; borné par la VRAM | 100 000 tokens, prompt plus complétion |
| Disponibilité | Tant que votre machine est allumée | Toujours accessible via HTTPS |
| Confidentialité | Les données ne quittent jamais la machine | Les prompts ne sont pas utilisés pour l'entraînement |
| Choix du modèle | Tout modèle que vous pouvez télécharger et faire tenir | Un modèle, ID uncensored |
| Configuration | Installer, télécharger les poids, ajuster | Créer une clé, définir l'URL de base |
La dernière rangée de confidentialité exige de l'honnêteté. Le local est plus fort sur ce point. Si un document ne doit jamais quitter votre réseau, exécutez-le localement. Si vous avez simplement besoin que les prompts ne nourrissent pas le jeu d'entraînement de quelqu'un, un service hébergé qui le dit est acceptable pour de nombreux projets.
Concurrence et temps de fonctionnement
Ollama peut servir des requêtes simultanées, mais le débit est limité par votre GPU. Une fois plusieurs appels superposés, chacun ralentit, et une requête nécessitant un échange de modèle peut bloquer la file d'attente. Pour un développeur seul, cela importe rarement. Pour un bot avec vingt conversations ouvertes, si.
Avec une clé complète ici, vous obtenez 8 requêtes simultanées et 300 requêtes par minute. Une clé d'essai en obtient 2 et 60. Lorsque vous dépassez, l'API répond avec HTTP 429 : l'erreur rate_limited signifie trop de requêtes par minute, concurrency signifie trop de requêtes simultanées, et un en-tête Retry-After: 5 signale une surcharge temporaire. Votre client doit attendre et réessayer. Une requête streaming occupe son slot jusqu'à la fin du flux, alors fermez les streams que vous ne lisez plus.
Je ne cite pas de pourcentages de disponibilité car aucun n'est publié pour ce service. Si la disponibilité est une exigence stricte, testez-la avec votre propre trafic pendant la période d'essai et gardez une solution de secours.
Longueur du contexte et mémoire
Le contexte est là où les configurations locales ressentent la pression. Le cache clé-valeur grandit avec chaque token, donc un prompt long concurrence les poids du modèle pour la mémoire GPU. Ollama vous permet d'augmenter le contexte par modèle, mais une fenêtre plus grande sur une carte grand public signifie souvent un modèle plus petit ou plus fortement quantifié.
Ici, la fenêtre fait 100 000 tokens et la complétion peut utiliser tout ce qui reste, donc max_tokens est optionnel. Cela suffit pour un long document plus une longue réponse, ou un historique de jeu de rôle qui dure des heures. Les grandes entrées ont un prix, que vous pouvez calculer exactement : un prompt de 60 000 tokens coûte 60 000 / 1 000 000 x $0,15 = $0,009, et une réponse de 2 000 tokens coûte 2 000 / 1 000 000 x $0,50 = $0,001. Un appel de document long coûte près d'un centime.
Ce qui change dans votre code
Si vous appelez déjà Ollama via sa route compatible OpenAI, vous modifiez l'URL de base, la clé et le nom du modèle. Rien d'autre.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Le streaming fonctionne de la même manière. Cet exemple Node utilise le package officiel OpenAI.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Si vous utilisiez les routes natives /api/chat d'Ollama, vous devez effectuer une petite réécriture vers le format de completions de chat, principalement en renommant les champs. L'appel d'outils (tools, tool_choice), le mode JSON (response_format) et les paramètres d'échantillonnage sont pris en charge. Les endpoints disponibles sont POST /v1/chat/completions, POST /v1/responses et GET /v1/models. Il n'y a pas d'endpoint d'embeddings, donc si votre application utilise Ollama pour les embeddings, gardez cette partie locale.
Coût : quand l'hébergement est moins cher
L'hébergement local n'est pas gratuit. Un GPU qui exécute un modèle de taille moyenne coûte cher à acheter, consomme de l'énergie et reste inactif entre les requêtes. Une API hébergée ne facture que les tokens, donc une utilisation faible et irrégulière favorise largement l'hébergement.
Exemple concret : une application de chat avec 5 000 requêtes par mois, chacune avec 3 000 tokens d'entrée et 400 tokens de sortie. Entrée : 5 000 x 3 000 = 15 000 000 tokens, soit 15 x $0,15 = $2,25. Sortie : 5 000 x 400 = 2 000 000 tokens, soit 2 x $0,50 = $1,00. La facture mensuelle est de $3,25. Un trafic soutenu intense modifie les calculs, et un GPU déjà possédé fonctionnant en continu peut être avantageux. Comparez avec vos propres coûts d'électricité et de matériel, et vérifiez les tarifs actuels des autres fournisseurs avant de décider.
Le crédit est prépayé, n'expire jamais, et les requêtes échouées ou refusées ne sont pas facturées. Les recharges vont de 20 $ à 500 $ avec des bonus à partir de 50 $, et vous pouvez payer par crypto. Voir tarification pour les détails.
Un hybride raisonnable et comment démarrer
Vous n'avez pas à choisir un seul. Développez et exécutez des expériences privées sur Ollama, puis pointez le trafic de production vers l'URL hébergée en changeant une variable d'environnement. Notre guide sur l'hébergement d'un LLM vous-même liste ce qu'implique une configuration auto-hébergée, et modèles Ollama « uncensored » couvre les options locales si vous préférez rester hors ligne.
Pour tester l'endpoint, créez un compte sur la page clé API et obtenez le crédit d'essai de 0,50 $ en un clic. Aucune carte n'est nécessaire, cela dure 7 jours et est limité à une personne. Testez vos vrais prompts avant de migrer quoi que ce soit.

