LLM selbst hosten oder mit einer API arbeiten

Die kurze Antwort: Es hängt von deinem Volumen ab

Wenn du fragst, wie du LLM-Gewichte selbst hosten kannst, lautet die ehrliche Zusammenfassung: Es ist einfach, ein Modell auf deiner eigenen Maschine antworten zu lassen, aber schwer, es für andere günstig zu betreiben. Ein Laptop oder eine Desktop-GPU reicht für den persönlichen Gebrauch. Ein Dienst, der viele Nutzer gleichzeitig und jederzeit bedienen muss, benötigt mehr Speicher, mehr Tuning und jemanden, der ihn am Leben erhält.

Die Alternative ist, einen gehosteten OpenAI-kompatiblen Endpunkt anzusprechen und pro Token zu zahlen. Für kleine und mittlere Workloads ist dies fast immer günstiger, da du nie für Leerlauf-GPU-Zeit zahlst. Für sehr große und gleichbleibende Workloads oder Aufgaben, die dein eigenes feinabgestimmtes Modell erfordern, fängt es an, Sinn zu machen, die Hardware zu besitzen. Die folgenden Abschnitte setzen Zahlen auf beiden Seiten ins Verhältnis, damit du deinen eigenen Break-even-Punkt findest.

Hier gibt es kein kostenloses Tarif-Modell. Du kannst nach der Anmeldung auf der API-Schlüssel-Seite einmalig $0,50 kostenloses Testguthaben beanspruchen und danach Prepaid-Guthaben ab $20 aufladen. Das Testguthaben reicht aus, um deine eigenen Prompts real zu testen, bevor du dich entscheidest.

Was das Hosten eines Modells tatsächlich erfordert

Ein Sprachmodell ist eine große Datei mit Zahlen, den Gewichten, die im schnellen Speicher liegen muss, während das Modell läuft. Die Größe dieser Datei ist die erste Einschränkung, und du kannst sie selbst berechnen: Parameter multipliziert mit Bytes pro Parameter.

Das sind nur die Gewichte. Zusätzlich benötigst du Speicher für den Key-Value-Cache, der mit der Länge jeder aktiven Konversation wächst, und etwas Puffer für die Laufzeit. Ein Modell, das nominell in 24 GB passt, kann der Speicher ausgehen, sobald du einen langen Kontext oder mehrere parallele Nutzer anforderst. Das Quantisieren auf 4 Bit verkleinert die Datei, verändert aber auch die Ausgabequalität etwas, und der Effekt variiert je nach Modell.

Dann gibt es die Software-Seite. Du benötigst einen Inference-Server wie llama.cpp, Ollama oder vLLM, eine HTTP-Schicht, damit deine Apps ihn aufrufen können, eine Möglichkeit, ihn bei einem Absturz neu zu starten, und Monitoring, damit du bemerkst, wenn er abstürzt. Nichts davon ist isoliert schwierig. Alles zusammen nimmt Zeit in Anspruch, und die Zeit ist Teil der Kosten.

Option eins: auf deinem eigenen Computer ausführen

Der günstigste Einstieg ist die Maschine, die du bereits besitzt. Tools wie Ollama und llama.cpp laden ein Modell herunter und stellen einen lokalen Server bereit, und viele davon bieten auch einen OpenAI-ähnlichen Endpunkt an, sodass der Code, den du gegen sie schreibst, später durch Ändern von zwei Einstellungen auf eine gehostete API zeigen kann.

Lokales Hosting ist eine gute Wahl, wenn:

• du eine einzelne Person bist, die experimentierst, und ein paar Sekunden pro Antwort in Ordnung sind;
• die Daten die Maschine niemals verlassen dürfen;
• du schnell viele verschiedene Open-Weight-Modelle ausprobieren möchtest;
• du eine GPU mit ausreichend Speicher hast, die den Großteil des Tages ohnehin ungenutzt ist.

Es ist eine schwache Passform, wenn du andere Leute bedienen musst, wenn das gewünschte Modell größer ist als dein Speicher oder wenn du lange Kontexte benötigst. Unser eigener Vergleich von lokalen unzensierten Modellen und gehosteten APIs geht die Kompromisse im Detail durch, einschließlich der Änderungen in der Antwortqualität zwischen kleinen lokalen Modellen und größeren gehosteten.

Strom ist ein realer, aber kleiner Posten für einen einzelnen Nutzer. Die größeren Kosten sind die Hardware, die du kaufen musst, für die du zahlst, unabhängig davon, ob du sie nutzt. Wenn du sie bereits besitzt, sind die Grenzkosten niedrig und lokales Hosting ist für private Experimente schwer zu schlagen.

Option zwei: einen GPU-Server mieten

Wenn deine eigene Maschine nicht ausreicht, ist der nächste Schritt eine gemietete GPU. Anbieter berechnen stundenweise für eine Maschine mit einer bestimmten Menge an GPU-Speicher. Die Preise variieren stark zwischen Anbietern und ändern sich häufig, also prüfe die aktuellen Preise der Anbieter, anstatt sich auf eine Zahl zu verlassen, die du in einem Artikel liest, einschließlich diesem.

Entscheidend ist die Form der Rechnung. Ein gemieteter Server berechnet jede Stunde, in der er eingeschaltet ist, egal ob er eine Anfrage beantwortet oder keine. Wenn du ihn den ganzen Monat über eingeschaltet lässt, ist die Rechnung einfach: Ein Monat hat etwa 730 Stunden (8.760 Stunden im Jahr geteilt durch 12). Nehmen wir an, ein passender Server kostet $1 pro Stunde. Der Dauerbetrieb kostet dann 730 × $1 = $730 im Monat, bevor du Speicher, Bandbreite und deine eigene Zeit addierst.

Du kannst den Server ausschalten, wenn du ihn nicht nutzt, aber dann zahlst du mit Verzögerungen: Das Laden eines großen Modells in den Speicher dauert Zeit, und der erste Nutzer nach einer Pause wartet darauf. Autoscaling-Setups reduzieren dies, fügen aber ihre eigene Komplexität hinzu.

Der Break-even gegenüber einer API ergibt sich aus dem Preis. Eine Million Input-Token plus eine Million Output-Token kosten auf dieser API $0,15 + $0,50 = $0,65. Dein angenommener Server im Wert von $730 entspricht 730 ÷ 0,65 ≈ 1.123 solcher Paare, oder etwa 1,1 Milliarden Input- und 1,1 Milliarden Output-Token im Monat. Unter diesem Volumen kostet die API weniger. Darüber hinaus kann ein gut ausgelasteter Server gewinnen, vorausgesetzt, er kann mit diesem Verkehr Schritt halten, was vom Modell, der GPU und davon abhängt, wie gut du den Server einstellst.

Option drei: eine gehostete API nutzen

Die API-Route entfernt die Hardware, den Server und die Leerlaufzeit. Du sendest eine Anfrage, du erhältst eine Antwort und du zahlst für die verwendeten Token. Die Preise hier sind $0,15 pro 1 Mio. Input-Token und $0,50 pro 1 Mio. Output-Token, Pay as you go vom Prepaid-Guthaben, ohne Abonnement. Guthaben verfällt nie, und fehlgeschlagene oder abgelehnte Anfragen werden nicht berechnet.

So sieht das bei drei realistischen Volumina aus. Ein typischer Chat-Turn verwendet 1.500 Input-Token (System-Prompt plus Verlauf) und 500 Output-Token.

• Eine Anfrage: 1.500 Input-Token kosten 0,0015 × $0,15 = $0,000225, und 500 Output-Token kosten 0,0005 × $0,50 = $0,00025. Zusammen sind das $0,000475.
• 1.000 Chats pro Tag, 30 Tage: 1.000 × $0,000475 = $0,475 pro Tag, oder $14,25 im Monat.
• 20.000 Chats pro Tag, 30 Tage: 20.000 × $0,000475 = $9,50 pro Tag, oder $285 im Monat.
• Ein Batch-Job mit 100.000 Anfragen mit jeweils 2.000 Input- und 400 Output-Token: Input sind 200 Mio. Token, also 200 × $0,15 = $30; Output sind 40 Mio. Token, also 40 × $0,50 = $20. Die Summe beträgt $50.

Bei der mittleren Zahl kostet die API $285 im Monat, was deutlich unter den angenommenen $730 für einen Dauerbetrieb-Server liegt. Bei der höchsten Zahl würdest du viel mehr Verkehr benötigen, bevor ein gemieteter Server aufholt. Deine eigenen Prompts bestimmen die echten Zahlen, also miss eine Stichprobe, statt zu raten. Der Nutzungsbereich, der mit jeder Antwort zurückkommt, zeigt dir die genauen Token-Anzahlen.

Das $0,50 Testguthaben deckt etwa 1.052 Anfragen der Größe 1.500 Input, 500 Output ab (0,50 ÷ 0,000475 ≈ 1.052), was für einen Test mehr als genug ist. Danach lädst du mit jedem ganzen Betrag von $20 bis $500 auf. Größere Aufladungen haben einen Bonus: +5 % ab $50, +10 % ab $100 und +15 % ab $200, sodass eine Aufladung von $100 $110 Guthaben ergibt. Details findest du auf der Preisseite. Die Zahlung erfolgt per Karte (Visa, Mastercard, Apple Pay, Google Pay) oder Krypto (USDT auf TRC20, USDC auf Base).

Was du durch Nicht-Hosting aufgibst

Eine API ist nicht frei von Kompromissen, und es ist besser, sie zu kennen, bevor du darauf aufbaust.

• Ein Modell. Du erhältst ein einzelnes Open-Weight-Modell, angesprochen als uncensored. Du kannst kein anderes einsetzen oder deine eigenen Gewichte laden.
• Kein Fine-Tuning und nur Text. Es gibt keinen Training-Endpunkt, keine Embeddings und keine Bild-, Audio- oder Video-Generierung.
• Grenzen. Ein voller Schlüssel erlaubt 8 parallele Anfragen und 300 Anfragen pro Minute. Ein Test-Schlüssel erlaubt 2 und 60. Das passt für die meisten Apps, aber ein sehr großer Batch benötigt Queuing auf deiner Seite.
• Kontext. Das Kontextfenster beträgt 100.000 Token für Prompt plus Vervollständigung.
• Deine Daten verlassen dein Netzwerk. Prompts werden nicht zum Training verwendet, aber sie werden an einen Drittanbieter gesendet. Wenn das für einen bestimmten Datensatz nicht akzeptabel ist, hoste lokal.

Self-Hosting ist die bessere Wahl, wenn eine dieser Bedingungen eine harte Anforderung ist: Feinabstimmung auf eigenen Daten, ein spezifisches Modell, das die API nicht anbietet, vollständiger Offline-Betrieb oder ein gleichbleibendes Volumen, das groß genug ist, damit die eigene Hardware rund um die Uhr ausgelastet bleibt.

Teste die API, bevor du Hardware kaufst

Ein einstündiger Test kostet weniger als eine einzelne Stunde der meisten gemieteten Server und zeigt dir, ob das Modell deine Prompts gut beantwortet. Der Endpunkt ist OpenAI-kompatibel, also wenn du bereits Code hast, der mit einem lokalen Server spricht, änderst du nur die Base URL, den Schlüssel und die Modell-ID. Dieses Skript meldet auch, was jeder Aufruf gekostet hat, unter Verwendung der Nutzungszahlen in der Antwort:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)

u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")

Führe es mit einigen Dutzend deiner echten Prompts aus, addiere die Kostenzeilen und multipliziere sie mit deinem erwarteten täglichen Volumen. Das ergibt eine Zahl, die du neben das Hardware-Angebot stellen kannst. Wenn du die Einrichtungsdetails möchtest, listet die Dokumentation die unterstützten Parameter auf, einschließlich Streaming, Tool Calling und JSON-Modus.

Weitere Anleitungen

• Unbekannter Fehler vom LLM-Streaming: Ursachen und Lösungen
• Uncensored LLM Hub: Ein Endpunkt für Chat und Agenten
• Uncensored Ollama-Modelle vs. gehostete APIs