DE ▾

Starte mit Testguthaben

E-Mail und Passwort, der Schlüssel erscheint sofort auf dem Bildschirm.

https://api.uncensoredllmhub.com/v1

Ollama-API-Alternative: Wann ein gehosteter Endpunkt sinnvoll ist

Eine Ollama-API-Alternative macht Sinn, wenn deine App eine einzelne Maschine überfordert: mehr gleichzeitige Nutzer, längere Prompts oder ein Laptop, den du lieber nicht durchlaufen lassen willst. Dieser Artikel vergleicht lokales Ollama mit einem gehosteten OpenAI-kompatiblen Endpunkt und zeigt die geringfügige Codeänderung zum Wechseln.

Aktualisiert

Ein lokaler Computer, der mit einem gehosteten Server-Turm verbunden ist, illustriert den Wechsel von Ollama zu einer gehosteten API
Serverrack und eine Waage mit Münzen neben einer leuchtenden Cloud, die Self-Hosting mit einer API vergleicht

Wichtige Punkte

  • Ollama ist hervorragend für private, Offline- und Einzelbenutzer-Arbeit; ein gehosteter Endpunkt gewinnt, wenn du Parallelität und ständigen Zugriff benötigst.
  • Das Wechseln ist für die meisten Apps zwei Zeilen: Base URL und Modell-ID.
  • Dieser Dienst bietet ein 100.000-Token-Fenster, 8 parallele Anfragen bei einem vollständigen Schlüssel und Pay-as-you-go-Preise.
  • Behalte Ollama für Experimente und nutze die gehostete API für Produktionsverkehr. Viele Teams nutzen beides.

Kurze Antwort: Wer sollte wechseln

Bleibe bei Ollama, wenn du allein arbeitest, alles offline haben willst oder die Gewichte selbst wählen und austauschen möchtest. Es ist kostenlos im Betrieb, privat durch Konstruktion, und sein OpenAI-kompatibler Modus bei /v1 macht es einfach, darauf aufzubauen.

Schau dir eine Ollama-API-Alternative an, wenn einer dieser Punkte zutrifft: Mehrere Personen oder Prozesse rufen das Modell gleichzeitig auf, du benötigst den Dienst, während dein eigener Computer schläft, deine Prompts sind lang und dein GPU-Speicher ist nicht groß genug, oder du verbringst mehr Zeit mit der Wartung des Servers als mit dem Bauen des Produkts. Ein gehosteter Endpunkt macht das Modell zu einer URL und einem Schlüssel. Du tauschst die Kontrolle über die Gewichte gegen keine zu verwaltende Hardware ein.

Diese Website ist ein solcher Endpunkt: eine OpenAI-kompatible Text-API, die ein einzelnes Open-Weight-Modell ausführt, das darauf abgestimmt ist, ohne Inhaltsablehnungen für die rechtmäßige Nutzung durch Erwachsene zu antworten. Es ist keine offizielle API eines Modell-Anbieters. Details findest du in der Dokumentation.

Lokales Ollama und ein gehosteter Endpunkt im Vergleich

ThemaLokales OllamaGehosteter Endpunkt hier
KostenmodellDeine Hardware und Strom$0,15 pro 1M Input, $0,50 pro 1M Output-Token
ParallelitätBegrenzt durch deine GPU und Einstellungen wie parallele Slots8 parallele Anfragen bei einem vollständigen Schlüssel
KontextPro Modell festgelegt; begrenzt durch VRAM100.000 Token, Prompt plus Vervollständigung
VerfügbarkeitSolange deine Maschine an istImmer über HTTPS erreichbar
DatenschutzDaten verlassen die Maschine niePrompts werden nicht zum Training verwendet
Model choiceJedes Modell, das du herunterladen und unterbringen kannstEin Modell, ID uncensored
EinrichtungInstallieren, Gewichte ziehen, optimierenErstelle einen Schlüssel, setze die Basis-URL

Die letzte Zeile zur Privatsphäre erfordert Ehrlichkeit. Lokal ist dort stärker. Wenn ein Dokument dein Netzwerk niemals verlassen darf, führe es lokal aus. Wenn du nur benötigst, dass Prompts nicht in den Trainingsdatensatz von jemandem gelangen, ist ein gehosteter Dienst, der dies zusagt, für viele Projekte akzeptabel.

Parallelität und Verfügbarkeit

Ollama kann parallele Anfragen bedienen, aber der Durchsatz ist durch deine GPU begrenzt. Sobald mehrere Aufrufe überlappen, verlangsamt sich jeder einzelne, und eine Anfrage, die einen Modellwechsel benötigt, kann die Warteschlange blockieren. Für einen einzelnen Entwickler ist das selten relevant. Für einen Bot mit zwanzig offenen Chats ist es es.

Bei einem vollständigen Schlüssel erhältst du hier 8 parallele Anfragen und 300 Anfragen pro Minute. Ein Test-Schlüssel erhält 2 und 60. Wenn du das Limit überschreitest, antwortet die API mit HTTP 429: Der Fehlercode rate_limited bedeutet zu viele pro Minute, concurrency bedeutet zu viele gleichzeitig, und ein Retry-After: 5-Header kennzeichnet eine vorübergehende Überlastung. Dein Client sollte warten und erneut versuchen. Eine gestreamte Anfrage belegt ihren Slot, bis der Stream endet, also schließe Streams, die du nicht mehr liest.

Ich zitiere keine Verfügbarkeitsprozente, da keine für diesen Dienst veröffentlicht wurden. Wenn Verfügbarkeit eine harte Anforderung ist, teste sie mit deinem eigenen Verkehr während der Testphase und halte einen Fallback bereit.

Kontextlänge und Speicher

Kontext ist dort, wo lokale Setups den Druck spüren. Der Key-Value-Cache wächst mit jedem Token, daher konkurriert ein langer Prompt mit den Modellgewichten um GPU-Speicher. Ollama lässt dich das Kontextfenster pro Modell erhöhen, aber ein größeres Fenster auf einer Consumer-Karte bedeutet oft ein kleineres oder stärker quantisiertes Modell.

Hier ist das Fenster 100.000 Token und die Vervollständigung kann den Rest davon nutzen, daher ist max_tokens optional. Das reicht für ein langes Dokument plus eine lange Antwort oder eine Roleplay-Historie, die über Stunden läuft. Große Eingaben haben einen Preis, den du genau berechnen kannst: Ein 60.000-Token-Prompt kostet 60.000 / 1.000.000 x $0,15 = $0,009, und eine 2.000-Token-Antwort kostet 2.000 / 1.000.000 x $0,50 = $0,001. Ein Aufruf mit einem langen Dokument landet bei etwa einem Cent.

Was sich in deinem Code ändert

Wenn du Ollama bereits über seine OpenAI-kompatible Route aufrufst, änderst du die Base URL, den Schlüssel und den Modellnamen. Nichts weiter.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Streaming funktioniert auf die gleiche Weise. Dieses Node-Beispiel nutzt das offizielle OpenAI-Paket.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Wenn du Ollamas native /api/chat-Routen genutzt hast, musst du den Chat-Completion-Format anpassen, hauptsächlich durch Umbenennung von Feldern. Function Calling (tools, tool_choice), JSON-Modus (response_format) und die Sampling-Parameter werden unterstützt. Die verfügbaren Endpunkte sind POST /v1/chat/completions, POST /v1/responses und GET /v1/models. Es gibt keinen Embeddings-Endpunkt, also behalte diesen Teil lokal, wenn deine App Ollama für Embeddings nutzt.

Kosten: Wann sich die gehostete Lösung günstiger auswirkt

Lokal ist nicht kostenlos. Eine GPU, die ein mittelgroßes Modell ausführt, kostet Geld beim Kauf, verbraucht Strom und steht zwischen Anfragen untätig herum. Eine gehostete API berechnet nur für Tokens, daher begünstigt niedrige und spike-lastige Nutzung die gehostete Lösung deutlich.

Ein durchgerechnetes Beispiel: Eine Chat-App mit 5.000 Anfragen pro Monat, jede mit 3.000 Eingabe-Tokens und 400 Ausgabe-Tokens. Eingabe: 5.000 x 3.000 = 15.000.000 Tokens, oder 15 x $0,15 = $2,25. Ausgabe: 5.000 x 400 = 2.000.000 Tokens, oder 2 x $0,50 = $1,00. Die monatliche Rechnung beträgt $3,25. Schwerer Dauerbetrieb ändert die Mathematik, und eine bereits vorhandene GPU, die rund um die Uhr läuft, kann gewinnen. Vergleiche mit deinen eigenen Strom- und Hardwarewerten und prüfe die aktuellen Preise anderer Anbieter, bevor du dich entscheidest.

Prepaid-Guthaben wird im Voraus bezahlt, verfällt nie, und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet. Aufladungen laufen von $20 bis $500 mit Boni ab $50, und du kannst mit Krypto bezahlen. Siehe Preise für die Details.

Eine sinnvolle Hybridlösung und wie du startest

Du musst dich nicht für eines entscheiden. Entwickle und führe private Experimente auf Ollama aus, richte dann Produktionsverkehr auf die gehostete URL um, indem du eine Umgebungsvariable änderst. Unser Leitfaden zu eigenes Hosting eines LLM listet auf, was ein selbst gehostetes Setup beinhaltet, und unzensierte Ollama-Modelle deckt lokale Optionen ab, wenn du offline bleiben möchtest.

Um den Endpunkt zu testen, erstelle ein Konto auf der API-Schlüssel-Seite und beanspruche das Testguthaben in Höhe von $0,50 mit einem Klick. Es benötigt keine Karte, dauert 7 Tage und ist auf einen pro Person begrenzt. Führe deine echten Prompts damit aus, bevor du etwas verschiebst.

Fragen und Antworten

Ist die gehostete API mit Ollamas OpenAI-Endpunkt kompatibel?

Beide folgen dem OpenAI-Format für Chat-Vervollständigungen, daher benötigt Code, der auf Ollamas /v1-Route ausgelegt ist, meist nur eine neue Base URL, einen Schlüssel und eine Modell-ID.

Kann ich die native Ollama-API gegen diesen Dienst nutzen?

Nein. Nutze die OpenAI-ähnlichen Routen: /v1/chat/completions, /v1/responses und /v1/models.

Kann ich ein Modell meiner Wahl ausführen?

Nein. Der Dienst führt ein einzelnes Open-Weight-Modell aus, ausgewählt mit der ID uncensored. Wenn du die Gewichte selbst wählen musst, nutze weiterhin Ollama.

Unterstützt es Embeddings?

Nein. Es ist nur zur Textgenerierung, also behalte ein lokales oder separates Embedding-Modell bei, wenn du eines benötigst.

Dein Schlüssel ist nur ein Formular entfernt

Erstelle ein Konto, kopiere den Schlüssel, ändere die Basis-URL. Das ist die gesamte Einrichtung.

API-Schlüssel erhalten

https://api.uncensoredllmhub.com/v1