FR ▾

Commencez avec le crédit d'essai

E-mail et mot de passe, la clé s'affiche tout de suite à l'écran.

https://api.uncensoredllmhub.com/v1

Alternative API Ollama : quand utiliser un endpoint hébergé

Une alternative à l'API Ollama est pertinente quand votre application dépasse les capacités d'une seule machine : plus d'utilisateurs simultanés, des prompts plus longs, ou un ordinateur portable que vous préféreriez ne pas laisser tourner. Cet article compare Ollama local à un endpoint OpenAI compatible hébergé et montre la petite modification de code pour basculer.

Mis à jour le

Un ordinateur local relié à une tour de serveur hébergé, illustrant le passage d'Ollama à une API hébergée
Rack serveur et balance avec des pièces à côté d'un nuage lumineux, comparant l'hébergement autonome avec une API

Points clés

  • Ollama est excellent pour un travail privé, hors ligne et mono-utilisateur ; un endpoint hébergé gagne en concurrence et offre un accès toujours actif.
  • La migration ne nécessite que deux lignes pour la plupart des applications : URL de base et ID de modèle.
  • Ce service offre une fenêtre de contexte de 100 000 tokens, 8 requêtes simultanées avec une clé complète, et un paiement à l'usage.
  • Conservez Ollama pour les expériences et utilisez l'API hébergée pour le trafic de production. De nombreuses équipes utilisent les deux.

Réponse courte : qui devrait migrer

Restez sur Ollama si vous travaillez seul, voulez tout hors ligne, ou aimez choisir et échanger les poids vous-même. Il est gratuit à exécuter, privé par construction, et son mode compatible OpenAI à /v1 facilite le développement.

Considérez une alternative API Ollama si l'une de ces conditions est vraie : plusieurs personnes ou processus appellent le modèle simultanément, vous avez besoin du service actif pendant que votre ordinateur se met en veille, vos prompts sont longs et la mémoire GPU est insuffisante, ou vous passez plus de temps à surveiller le serveur qu'à développer le produit. Un endpoint hébergé transforme le modèle en une URL et une clé. Vous échangez le contrôle des poids contre l'absence de matériel à gérer.

Ce site est un tel endpoint : une API textuelle compatible OpenAI exécutant un modèle à poids ouverts, optimisé pour répondre sans refus de contenu pour un usage adulte légal. Ce n'est pas l'API officielle d'un fournisseur de modèle. Les détails sont dans la documentation.

Ollama local et un endpoint hébergé, côte à côte

SujetOllama localEndpoint hébergé ici
Modèle de coûtVotre matériel et votre énergie0,15 $ par 1M de tokens d'entrée, 0,50 $ par 1M de tokens de sortie
ConcurrenceLimité par votre GPU et les paramètres comme les fentes parallèles8 requêtes simultanées sur une clé complète
ContexteDéfini par modèle ; borné par la VRAM100 000 tokens, prompt plus complétion
DisponibilitéTant que votre machine est alluméeToujours accessible via HTTPS
ConfidentialitéLes données ne quittent jamais la machineLes prompts ne sont pas utilisés pour l'entraînement
Choix du modèleTout modèle que vous pouvez télécharger et faire tenirUn modèle, ID uncensored
ConfigurationInstaller, télécharger les poids, ajusterCréer une clé, définir l'URL de base

La dernière rangée de confidentialité exige de l'honnêteté. Le local est plus fort sur ce point. Si un document ne doit jamais quitter votre réseau, exécutez-le localement. Si vous avez simplement besoin que les prompts ne nourrissent pas le jeu d'entraînement de quelqu'un, un service hébergé qui le dit est acceptable pour de nombreux projets.

Concurrence et temps de fonctionnement

Ollama peut servir des requêtes simultanées, mais le débit est limité par votre GPU. Une fois plusieurs appels superposés, chacun ralentit, et une requête nécessitant un échange de modèle peut bloquer la file d'attente. Pour un développeur seul, cela importe rarement. Pour un bot avec vingt conversations ouvertes, si.

Avec une clé complète ici, vous obtenez 8 requêtes simultanées et 300 requêtes par minute. Une clé d'essai en obtient 2 et 60. Lorsque vous dépassez, l'API répond avec HTTP 429 : l'erreur rate_limited signifie trop de requêtes par minute, concurrency signifie trop de requêtes simultanées, et un en-tête Retry-After: 5 signale une surcharge temporaire. Votre client doit attendre et réessayer. Une requête streaming occupe son slot jusqu'à la fin du flux, alors fermez les streams que vous ne lisez plus.

Je ne cite pas de pourcentages de disponibilité car aucun n'est publié pour ce service. Si la disponibilité est une exigence stricte, testez-la avec votre propre trafic pendant la période d'essai et gardez une solution de secours.

Longueur du contexte et mémoire

Le contexte est là où les configurations locales ressentent la pression. Le cache clé-valeur grandit avec chaque token, donc un prompt long concurrence les poids du modèle pour la mémoire GPU. Ollama vous permet d'augmenter le contexte par modèle, mais une fenêtre plus grande sur une carte grand public signifie souvent un modèle plus petit ou plus fortement quantifié.

Ici, la fenêtre fait 100 000 tokens et la complétion peut utiliser tout ce qui reste, donc max_tokens est optionnel. Cela suffit pour un long document plus une longue réponse, ou un historique de jeu de rôle qui dure des heures. Les grandes entrées ont un prix, que vous pouvez calculer exactement : un prompt de 60 000 tokens coûte 60 000 / 1 000 000 x $0,15 = $0,009, et une réponse de 2 000 tokens coûte 2 000 / 1 000 000 x $0,50 = $0,001. Un appel de document long coûte près d'un centime.

Ce qui change dans votre code

Si vous appelez déjà Ollama via sa route compatible OpenAI, vous modifiez l'URL de base, la clé et le nom du modèle. Rien d'autre.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Le streaming fonctionne de la même manière. Cet exemple Node utilise le package officiel OpenAI.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Si vous utilisiez les routes natives /api/chat d'Ollama, vous devez effectuer une petite réécriture vers le format de completions de chat, principalement en renommant les champs. L'appel d'outils (tools, tool_choice), le mode JSON (response_format) et les paramètres d'échantillonnage sont pris en charge. Les endpoints disponibles sont POST /v1/chat/completions, POST /v1/responses et GET /v1/models. Il n'y a pas d'endpoint d'embeddings, donc si votre application utilise Ollama pour les embeddings, gardez cette partie locale.

Coût : quand l'hébergement est moins cher

L'hébergement local n'est pas gratuit. Un GPU qui exécute un modèle de taille moyenne coûte cher à acheter, consomme de l'énergie et reste inactif entre les requêtes. Une API hébergée ne facture que les tokens, donc une utilisation faible et irrégulière favorise largement l'hébergement.

Exemple concret : une application de chat avec 5 000 requêtes par mois, chacune avec 3 000 tokens d'entrée et 400 tokens de sortie. Entrée : 5 000 x 3 000 = 15 000 000 tokens, soit 15 x $0,15 = $2,25. Sortie : 5 000 x 400 = 2 000 000 tokens, soit 2 x $0,50 = $1,00. La facture mensuelle est de $3,25. Un trafic soutenu intense modifie les calculs, et un GPU déjà possédé fonctionnant en continu peut être avantageux. Comparez avec vos propres coûts d'électricité et de matériel, et vérifiez les tarifs actuels des autres fournisseurs avant de décider.

Le crédit est prépayé, n'expire jamais, et les requêtes échouées ou refusées ne sont pas facturées. Les recharges vont de 20 $ à 500 $ avec des bonus à partir de 50 $, et vous pouvez payer par crypto. Voir tarification pour les détails.

Un hybride raisonnable et comment démarrer

Vous n'avez pas à choisir un seul. Développez et exécutez des expériences privées sur Ollama, puis pointez le trafic de production vers l'URL hébergée en changeant une variable d'environnement. Notre guide sur l'hébergement d'un LLM vous-même liste ce qu'implique une configuration auto-hébergée, et modèles Ollama « uncensored » couvre les options locales si vous préférez rester hors ligne.

Pour tester l'endpoint, créez un compte sur la page clé API et obtenez le crédit d'essai de 0,50 $ en un clic. Aucune carte n'est nécessaire, cela dure 7 jours et est limité à une personne. Testez vos vrais prompts avant de migrer quoi que ce soit.

Questions et réponses

L'API hébergée est-elle compatible avec l'endpoint OpenAI d'Ollama ?

Les deux suivent le format de complétions de chat OpenAI, donc le code écrit pour l'endpoint /v1 d'Ollama nécessite généralement uniquement une nouvelle URL de base, une clé et un ID de modèle.

Puis-je utiliser l'API native d'Ollama avec ce service ?

Non. Utilisez les routes au style OpenAI : /v1/chat/completions, /v1/responses et /v1/models.

Puis-je exécuter un modèle de mon choix ?

Non. Le service exécute un seul modèle à poids ouverts, sélectionné avec l'ID uncensored. Si vous devez choisir les poids vous-même, continuez à utiliser Ollama.

Prend-il en charge les embeddings ?

Non. Il est dédié à la génération de texte, donc conservez un modèle d'embedding local ou séparé si vous en avez besoin.

Votre clé n'est qu'à un formulaire d'ici

Créez un compte, copiez la clé, modifiez l'URL de base. C'est toute la configuration.

Obtenir une clé API

https://api.uncensoredllmhub.com/v1