Belangrijkste punten
- Ollama is uitstekend voor privé, offline en single-user werk; een gehost endpoint wint als je concurrency en altijd-toegang nodig hebt.
- Overschakelen is twee regels voor de meeste apps: base URL en model-ID.
- Deze dienst biedt een contextvenster van 100.000 tokens, 8 gelijktijdige verzoeken op een volledige sleutel, en pay-as-you-go prijzen.
- Houd Ollama aan voor experimenten en gebruik de gehoste API voor productieverkeer. Veel teams gebruiken beide.
Kort antwoord: wie moet overschakelen
Blijf bij Ollama als je alleen werkt, alles offline wilt, of graag zelf gewichten kiest en verwisselt. Het is gratis om te draaien, privé door constructie, en de OpenAI-compatible modus bij /v1 maakt het makkelijk om tegenaan te bouwen.
Kijk naar een Ollama API-alternatief als een van deze waar is: meerdere mensen of processen roepen het model tegelijk aan, je hebt de dienst nodig terwijl je eigen computer slaapt, je prompts zijn lang en je GPU-geheugen is dat niet, of je brengt meer tijd door met het bewaken van de server dan met het bouwen van het product. Een gehost endpoint maakt van het model een URL en een sleutel. Je ruilt controle over de gewichten in voor geen hardware om te beheren.
Deze site is zo'n endpoint: een OpenAI-compatible tekst-API die één open-weight model draait, afgestemd om te antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Het is geen officiële API van een modelleverancier. Details staan in de documentatie.
Lokale Ollama en een gehost endpoint, naast elkaar
| Onderwerp | Lokaal Ollama | Gehost endpoint hier |
|---|---|---|
| Kostemodel | Jouw hardware en stroom | $0,15 per 1M input tokens, $0,50 per 1M output tokens |
| Gelijktijdige verzoeken | Beperkt door je GPU en instellingen zoals parallelle slots | 8 gelijktijdige verzoeken op een volledige sleutel |
| Context | Per model ingesteld; begrensd door VRAM | 100.000 tokens, prompt plus voltooiing |
| Beschikbaarheid | Zolang je machine aan staat | Altijd bereikbaar via HTTPS |
| Privacy | Data verlaat de machine nooit | Prompts worden niet gebruikt voor training |
| Modelkeuze | Elk model dat je kunt downloaden en past | Eén model, ID uncensored |
| Instellen | Installeren, gewichten ophalen, afstellen | Maak een sleutel aan, stel basis-URL in |
De laatste regel van privacy vereist eerlijkheid. Lokaal is daar sterker. Als een document je netwerk nooit mag verlaten, draai het lokaal. Als je alleen wilt dat prompts niet in de trainingsset van iemand anders terechtkomen, is een gehoste service die dat belooft voor veel projecten acceptabel.
Concurrency en uptime
Ollama kan gelijktijdige verzoeken bedienen, maar de doorvoer is begrensd door je GPU. Zodra meerdere calls overlappen, vertraagt elk verzoek, en een verzoek dat een modelwissel nodig heeft, kan de wachtrij blokkeren. Voor een enkele ontwikkelaar maakt dit zelden uit. Voor een bot met twintig open chats wel.
Met een volledige sleutel hier krijg je 8 gelijktijdige verzoeken en 300 verzoeken per minuut. Een proeftegoed-sleutel krijgt 2 en 60. Als je de limiet overschrijdt, antwoordt de API met HTTP 429: de foutcode rate_limited betekent te veel per minuut, concurrency betekent te veel in één keer, en een Retry-After: 5-header markeert tijdelijke overbelasting. Je client moet wachten en opnieuw proberen. Een gestreamd verzoek houdt zijn slot vast tot de stream eindigt, dus sluit streams die je niet meer leest.
Ik citeer geen uptime-percentages omdat die voor deze dienst niet zijn gepubliceerd. Als uptime een harde eis is, test het dan met je eigen verkeer tijdens de proefperiode en houd een fallback aan.
Contextlengte en geheugen
Context is waar lokale setup het gevoel van krapte krijgt. De key-value cache groeit met elke token, dus een lange prompt concurreert met de modelgewichten om GPU-geheugen. Ollama laat je de context per model verhogen, maar een groter venster op een consumentenkaart betekent vaak een kleiner of zwaarder gekwantiseerd model.
Hier is het venster 100.000 tokens en de completion kan gebruiken wat er over is, dus max_tokens is optioneel. Dat is genoeg voor een lang document plus een lang antwoord, of een roleplay-geschiedenis die uren duurt. Grote inputs hebben een prijs, die je exact kunt berekenen: een prompt van 60.000 tokens kost 60.000 / 1.000.000 x $0,15 = $0,009, en een antwoord van 2.000 tokens kost 2.000 / 1.000.000 x $0,50 = $0,001. Eén lang-documentaanroep landt rond de één cent.
Wat verandert in je code
Als je Ollama al aanroept via zijn OpenAI-compatible route, verander je de base URL, de sleutel en de modelnaam. Niets anders.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Streaming werkt op dezelfde manier. Dit Node-voorbeeld gebruikt de officiële OpenAI-pakket.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Als je Ollama's native /api/chat routes gebruikte, moet je de chatcompletiesindeling aanpassen, voornamelijk door velden hernoemen. Tool calling (tools, tool_choice), JSON-modus (response_format) en de samplingparameters worden ondersteund. De beschikbare endpoints zijn POST /v1/chat/completions, POST /v1/responses en GET /v1/models. Er is geen embeddings endpoint, dus als je app Ollama voor embeddings gebruikt, houd dat deel lokaal.
Kosten: wanneer is gehost goedkoper
Lokaal is niet gratis. Een GPU die een middelgroot model draait kost geld om te kopen, trekt stroom, en staat leeg tussen verzoeken in. Een gehoste API rekent alleen voor tokens, dus laag en piekgebruik bevoordeert gehost met een grote marge.
Een uitgewerkt voorbeeld: een chat-app met 5.000 verzoeken per maand, elk met 3.000 inputtokens en 400 outputtokens. Input: 5.000 x 3.000 = 15.000.000 tokens, of 15 x $0,15 = $2,25. Output: 5.000 x 400 = 2.000.000 tokens, of 2 x $0,50 = $1,00. De maandelijkse rekening is $3,25. Zwaar aanhoudend verzoekverkeer verandert de berekening, en een GPU die je al hebt en de klok rond draait, kan de voorkeur krijgen. Vergelijk dit met je eigen stroom- en hardwarekosten, en controleer de huidige prijzen van andere aanbieders voordat je een beslissing neemt.
Tegoed is prepaid, verloopt nooit, en mislukte of geweigerde verzoeken worden niet in rekening gebracht. Opwaarderingen lopen van $20 tot $500 met bonussen vanaf $50, en je kunt betalen met crypto. Zie prijzen voor de details.
Een verstandige hybride en hoe te beginnen
Je hoeft niet één te kiezen. Ontwikkel en draai privé-experimenten op Ollama, en wiis dan productieverkeer aan de gehoste URL toe door een omgevingsvariabele te wijzigen. Onze gids over een LLM zelf hosten somt op wat een zelfgehoste setup inhoudt, en uncensored Ollama-modellen behandelt lokale opties als je liever offline blijft.
Om het endpoint te proberen, maak een account aan op de API-sleutelpagina en claim het $0,50 proeftegoed met één klik. Het vereist geen kaart, duurt 7 dagen en is beperkt tot één per persoon. Test je echte prompts ermee voordat je iets verplaatst.

