Een LLM zelf hosten of het via een API laten lopen

Het korte antwoord: het hangt af van je volume

Als je vraagt hoe je llm-gewichten zelf moet hosten, is de eerlijke samenvatting dat het makkelijk is om een model op je eigen machine aan het antwoorden te krijgen, maar moeilijk om er een goedkoop voor anderen te laten draaien. Een laptop of een desktop GPU is genoeg voor persoonlijk gebruik. Een service die veel gebruikers tegelijk moet beantwoorden, op elk uur van de dag, heeft meer geheugen, meer tuning en iemand nodig om het draaiende te houden.

Het alternatief is een gehost OpenAI-compatible endpoint aanroepen en per token betalen. Voor kleine en middelgrote werklasten is dit bijna altijd goedkoper, omdat je nooit betaalt voor idle GPU-tijd. Voor zeer grote en constante werklasten, of voor taken die je eigen fine-tuned model nodig hebben, begint het bezitten van hardware zinvol te worden. De secties hieronder zetten cijfers op beide kanten zodat je je eigen break-evenpoint kunt vinden.

Er is hier geen gratis tier. Je kunt na het registreren een eenmalig proeftegoed van $0,50 claimen op de API-sleutelpagina, en daarna voeg je prepaid tegoed toe vanaf $20. Het proeftegoed is genoeg om een echte test van je eigen prompts uit te voeren voordat je iets beslist.

Wat het hosten van een model eigenlijk vereist

Een taalmodel is een groot bestand met getallen, de weights, die in snel geheugen moeten staan terwijl het model draait. De grootte van dat bestand is de eerste beperking, en je kunt het zelf berekenen: parameters vermenigvuldigd met bytes per parameter.

Dit zijn alleen gewichten. Daarbovenop heb je geheugen nodig voor de key-value cache, die groeit met de lengte van elke actieve conversatie, en wat ruimte voor de runtime. Een model dat nominaal in 24 GB past, kan het geheugen uitgaan op het moment dat je om een lange context of meerdere parallelle gebruikers vraagt. Kwantiseren naar 4-bit verkleint het bestand, maar het verandert ook de outputkwaliteit een beetje, en het effect varieert per model.

Dan is er de softwarekant. Je hebt een inferenceserver nodig zoals llama.cpp, Ollama of vLLM, een HTTP-laag zodat je apps het kunnen aanroepen, een manier om het te herstarten als het crasht, en monitoring zodat je merkt als dat gebeurt. Niets daarvan is op zich moeilijk. Alles kost tijd, en de tijd is onderdeel van de kosten.

Optie één: draai het op je eigen computer

De goedkoopste manier om te beginnen is de machine die je al hebt. Tools zoals Ollama en llama.cpp downloaden een model en bieden een lokale server aan, en veel van hen bieden ook een endpoint in OpenAI-stijl, zodat de code die je erop schrijft later kan wijzen naar een gehoste API door twee instellingen te wijzigen.

Lokaal hosten is een goede match wanneer:

• je één persoon bent die experimenteert, en een paar seconden per antwoord is prima;
• de data nooit de machine mag verlaten;
• je snel veel verschillende open modellen wilt proberen;
• je een GPU hebt met genoeg geheugen en deze de meeste dag toch idle is.

Het is een slechte match als je anderen moet bedienen, als het model dat je wilt groter is dan je geheugen, of als je lange contexten wilt. Onze eigen vergelijking van lokale ongecensureerde modellen en gehoste API's gaat dieper in op de afwegingen, inclusief wat er verandert in de antwoordkwaliteit tussen kleine lokale modellen en grotere gehoste API's.

Elektriciteit is een echte maar kleine post voor een enkele gebruiker. De grotere kosten zijn de hardware die je moest kopen, waar je voor betaalt of je het nu gebruikt of niet. Als je het al hebt, zijn de margekosten laag en is lokale hosting moeilijk te verslaan voor privé-experimenten.

Optie twee: huur een GPU server

Wanneer je eigen machine niet genoeg is, is de volgende stap een gehuurde GPU. Aanbieders rekenen per uur voor een machine met een bepaalde hoeveelheid GPU-geheugen. Prijzen verschillen veel tussen aanbieders en veranderen vaak, dus controleer hun huidige tarieven in plaats van te vertrouwen op elk getal dat je in een artikel leest, inclusief dit.

Wat telt is de vorm van de rekening. Een gehuurde server rekent voor elk uur dat het aan staat, of het nu één verzoek beantwoordt of geen enkel. Als je het de hele maand aan laat staan, is de rekenkunde eenvoudig: een maand heeft ongeveer 730 uur (8.760 uur per jaar gedeeld door 12). Stel, puur als een aangenomen voorbeeld en geen citaat, dat een geschikte server $1 per uur kost. Het de hele dag draaien kost dan 730 × $1 = $730 per maand voordat je opslag, bandbreedte en je eigen tijd toevoegt.

Je kunt de server uitzetten als je hem niet gebruikt, maar dan betaal je met vertragingen: een groot model in het geheugen laden kost tijd, en de eerste gebruiker na een pauze wacht erop. Autoscalegroepen verminderen dit, en ze voegen hun eigen complexiteit toe.

Het break-even punt tegen een API volgt uit de prijs. Eén miljoen input tokens plus één miljoen output tokens kosten $0,15 + $0,50 = $0,65 op deze API. Je aangenomen server van $730 komt overeen met 730 ÷ 0,65 ≈ 1.123 van zulke paren, of ongeveer 1,1 miljard input en 1,1 miljard output tokens in een maand. Onder dat volume kost de API minder. Erboven kan een goed benutte server winnen, mits deze het verkeer daadwerkelijk kan bijhouden, wat afhangt van het model, de GPU en hoe goed je de server afstelt.

Optie drie: gebruik een gehoste API

De API-route verwijdert de hardware, de server en de inactieve tijd. Je stuurt een verzoek, je krijgt een antwoord, en je betaalt voor de tokens die zijn gebruikt. Prijzen zijn hier $0,15 per 1M input tokens en $0,50 per 1M output tokens, pay as you go van prepaid tegoed, zonder abonnement. Credit verloopt nooit, en mislukte of geweigerde verzoeken worden niet in rekening gebracht.

Zo ziet dat eruit bij drie realistische volumes. Een typische gespreksbeurt wordt verondersteld 1.500 input tokens (systeem prompt plus history) en 500 output tokens te gebruiken.

• Eén verzoek: 1.500 input tokens kosten 0,0015 × $0,15 = $0,000225, en 500 output tokens kosten 0,0005 × $0,50 = $0,00025. Samen is dat $0,000475.
• 1.000 chats per dag, 30 dagen: 1.000 × $0,000475 = $0,475 per dag, of $14,25 per maand.
• 20.000 chats per dag, 30 dagen: 20.000 × $0,000475 = $9,50 per dag, of $285 per maand.
• Een batchtaak van 100.000 verzoeken met 2.000 input en 400 output tokens elk: input is 200M tokens, dus 200 × $0,15 = $30; output is 40M tokens, dus 40 × $0,50 = $20. Het totaal is $50.

Bij het middelste bedrag kost de API $285 per maand, wat ver onder de aangenomen $730 voor een always-on server ligt. Bij het grootste bedrag zou je veel meer verkeer nodig hebben voordat een gehuurde server inhaalt. Je eigen prompts bepalen de echte cijfers, dus meet een steekproef in plaats van raden. De usage block die bij elk antwoord terugkomt vertelt je de exacte token counts.

Het $0,50 proeftegoed dekt ongeveer 1.052 verzoeken van de 1.500 in, 500 uit grootte (0,50 ÷ 0,000475 ≈ 1.052), wat genoeg is voor een test. Daarna laad je op met elk geheel bedrag van $20 tot $500. Grotere top-ups dragen een bonus: +5% vanaf $50, +10% vanaf $100 en +15% vanaf $200, dus een top-up van $100 geeft $110 aan tegoed. Details staan op de prijzen pagina. Betaling is per kaart (Visa, Mastercard, Apple Pay, Google Pay) of crypto (USDT op TRC20, USDC op Base).

Wat je opgeeft door niet te hosten

Een API is niet vrij van trade-offs, en het is beter om ze te kennen voordat je erop bouwt.

• Eén model. Je krijgt een enkel open-weight model, aangesproken als uncensored. Je kunt niet wisselen naar een ander of je eigen weights laden.
• Geen fine-tuning en alleen tekst. Er is geen training endpoint, geen embeddings en geen image, audio of video generatie.
• Beperkingen. Een volledige key staat 8 gelijktijdige verzoeken en 300 verzoeken per minuut toe. Een trial key staat 2 en 60 toe. Dat past bij de meeste apps, maar een zeer grote batch moet je aan de eigen kant in de wachtrij plaatsen.
• Context. Het contextvenster is 100.000 tokens voor prompt plus completion.
• Je data verlaat je netwerk. Prompts worden niet gebruikt voor training, maar ze reizen wel naar een derde partij. Als dat niet acceptabel is voor een bepaalde dataset, host lokaal.

Self-hosting is de betere keuze wanneer een van deze een harde eis is: fine-tuning op je eigen data, een specifiek model dat de API niet aanbiedt, volledig offline operatie, of een constant volume groot genoeg dat eigen hardware de hele dag bezet blijft.

Probeer de API voordat je hardware koopt

Een test van één uur kost minder dan een enkele uur van de meeste gehuurde servers en vertelt je of het model je prompts goed beantwoordt. Het endpoint is OpenAI-compatible, dus als je al code hebt die praat met een lokale server, verander je alleen de base URL, de key en de model ID. Dit script rapporteert ook wat elke call kost, met behulp van de usage numbers in de response:

Copyfrom openai import OpenAI

client = OpenAI(
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)

u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")

Draai het op een paar tiental van je echte prompts, tel de kostregels op, en vermenigvuldig met je verwachte dagelijkse volume. Dat geeft je een cijfer dat je naast de hardware quote kunt zetten. Als je de setup details wilt, de documentatie vermeldt de ondersteunde parameters, inclusief streaming, function calling en JSON-modus.

Meer handleidingen

• Onbekende fout van LLM-stream: oorzaken en oplossingen
• Uncensored LLM Hub: één endpoint voor chat en agents
• ⟦a0⟍Uncensored Ollama-modellen vs gehoste API's⟦/a0⟍