NL ▾

Begin met proeftegoed

E-mail en wachtwoord, de sleutel staat meteen op het scherm.

https://api.uncensoredllmhub.com/v1

Ollama API-alternatief: wanneer een gehost endpoint gebruiken

Een Ollama API-alternatief heeft zin als je app uitgroeit tot meer dan één machine: meer gebruikers tegelijk, langere prompts, of een laptop die je liever niet aan laat staan. Dit artikel vergelijkt lokale Ollama met een gehost OpenAI-compatible endpoint en laat de kleine code-aanpassing zien om over te schakelen.

Bijgewerkt

Een lokale computer verbonden met een gehoste servertoren, illustrerend de overstap van Ollama naar een gehoste API
Serverrek en weegschaal met munten naast een gloeiende cloud, die self-hosting vergelijkt met een API

Belangrijkste punten

  • Ollama is uitstekend voor privé, offline en single-user werk; een gehost endpoint wint als je concurrency en altijd-toegang nodig hebt.
  • Overschakelen is twee regels voor de meeste apps: base URL en model-ID.
  • Deze dienst biedt een contextvenster van 100.000 tokens, 8 gelijktijdige verzoeken op een volledige sleutel, en pay-as-you-go prijzen.
  • Houd Ollama aan voor experimenten en gebruik de gehoste API voor productieverkeer. Veel teams gebruiken beide.

Kort antwoord: wie moet overschakelen

Blijf bij Ollama als je alleen werkt, alles offline wilt, of graag zelf gewichten kiest en verwisselt. Het is gratis om te draaien, privé door constructie, en de OpenAI-compatible modus bij /v1 maakt het makkelijk om tegenaan te bouwen.

Kijk naar een Ollama API-alternatief als een van deze waar is: meerdere mensen of processen roepen het model tegelijk aan, je hebt de dienst nodig terwijl je eigen computer slaapt, je prompts zijn lang en je GPU-geheugen is dat niet, of je brengt meer tijd door met het bewaken van de server dan met het bouwen van het product. Een gehost endpoint maakt van het model een URL en een sleutel. Je ruilt controle over de gewichten in voor geen hardware om te beheren.

Deze site is zo'n endpoint: een OpenAI-compatible tekst-API die één open-weight model draait, afgestemd om te antwoorden zonder inhoudelijke weigeringen voor wettelijk volwassen gebruik. Het is geen officiële API van een modelleverancier. Details staan in de documentatie.

Lokale Ollama en een gehost endpoint, naast elkaar

OnderwerpLokaal OllamaGehost endpoint hier
KostemodelJouw hardware en stroom$0,15 per 1M input tokens, $0,50 per 1M output tokens
Gelijktijdige verzoekenBeperkt door je GPU en instellingen zoals parallelle slots8 gelijktijdige verzoeken op een volledige sleutel
ContextPer model ingesteld; begrensd door VRAM100.000 tokens, prompt plus voltooiing
BeschikbaarheidZolang je machine aan staatAltijd bereikbaar via HTTPS
PrivacyData verlaat de machine nooitPrompts worden niet gebruikt voor training
ModelkeuzeElk model dat je kunt downloaden en pastEén model, ID uncensored
InstellenInstalleren, gewichten ophalen, afstellenMaak een sleutel aan, stel basis-URL in

De laatste regel van privacy vereist eerlijkheid. Lokaal is daar sterker. Als een document je netwerk nooit mag verlaten, draai het lokaal. Als je alleen wilt dat prompts niet in de trainingsset van iemand anders terechtkomen, is een gehoste service die dat belooft voor veel projecten acceptabel.

Concurrency en uptime

Ollama kan gelijktijdige verzoeken bedienen, maar de doorvoer is begrensd door je GPU. Zodra meerdere calls overlappen, vertraagt elk verzoek, en een verzoek dat een modelwissel nodig heeft, kan de wachtrij blokkeren. Voor een enkele ontwikkelaar maakt dit zelden uit. Voor een bot met twintig open chats wel.

Met een volledige sleutel hier krijg je 8 gelijktijdige verzoeken en 300 verzoeken per minuut. Een proeftegoed-sleutel krijgt 2 en 60. Als je de limiet overschrijdt, antwoordt de API met HTTP 429: de foutcode rate_limited betekent te veel per minuut, concurrency betekent te veel in één keer, en een Retry-After: 5-header markeert tijdelijke overbelasting. Je client moet wachten en opnieuw proberen. Een gestreamd verzoek houdt zijn slot vast tot de stream eindigt, dus sluit streams die je niet meer leest.

Ik citeer geen uptime-percentages omdat die voor deze dienst niet zijn gepubliceerd. Als uptime een harde eis is, test het dan met je eigen verkeer tijdens de proefperiode en houd een fallback aan.

Contextlengte en geheugen

Context is waar lokale setup het gevoel van krapte krijgt. De key-value cache groeit met elke token, dus een lange prompt concurreert met de modelgewichten om GPU-geheugen. Ollama laat je de context per model verhogen, maar een groter venster op een consumentenkaart betekent vaak een kleiner of zwaarder gekwantiseerd model.

Hier is het venster 100.000 tokens en de completion kan gebruiken wat er over is, dus max_tokens is optioneel. Dat is genoeg voor een lang document plus een lang antwoord, of een roleplay-geschiedenis die uren duurt. Grote inputs hebben een prijs, die je exact kunt berekenen: een prompt van 60.000 tokens kost 60.000 / 1.000.000 x $0,15 = $0,009, en een antwoord van 2.000 tokens kost 2.000 / 1.000.000 x $0,50 = $0,001. Eén lang-documentaanroep landt rond de één cent.

Wat verandert in je code

Als je Ollama al aanroept via zijn OpenAI-compatible route, verander je de base URL, de sleutel en de modelnaam. Niets anders.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Streaming werkt op dezelfde manier. Dit Node-voorbeeld gebruikt de officiële OpenAI-pakket.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Als je Ollama's native /api/chat routes gebruikte, moet je de chatcompletiesindeling aanpassen, voornamelijk door velden hernoemen. Tool calling (tools, tool_choice), JSON-modus (response_format) en de samplingparameters worden ondersteund. De beschikbare endpoints zijn POST /v1/chat/completions, POST /v1/responses en GET /v1/models. Er is geen embeddings endpoint, dus als je app Ollama voor embeddings gebruikt, houd dat deel lokaal.

Kosten: wanneer is gehost goedkoper

Lokaal is niet gratis. Een GPU die een middelgroot model draait kost geld om te kopen, trekt stroom, en staat leeg tussen verzoeken in. Een gehoste API rekent alleen voor tokens, dus laag en piekgebruik bevoordeert gehost met een grote marge.

Een uitgewerkt voorbeeld: een chat-app met 5.000 verzoeken per maand, elk met 3.000 inputtokens en 400 outputtokens. Input: 5.000 x 3.000 = 15.000.000 tokens, of 15 x $0,15 = $2,25. Output: 5.000 x 400 = 2.000.000 tokens, of 2 x $0,50 = $1,00. De maandelijkse rekening is $3,25. Zwaar aanhoudend verzoekverkeer verandert de berekening, en een GPU die je al hebt en de klok rond draait, kan de voorkeur krijgen. Vergelijk dit met je eigen stroom- en hardwarekosten, en controleer de huidige prijzen van andere aanbieders voordat je een beslissing neemt.

Tegoed is prepaid, verloopt nooit, en mislukte of geweigerde verzoeken worden niet in rekening gebracht. Opwaarderingen lopen van $20 tot $500 met bonussen vanaf $50, en je kunt betalen met crypto. Zie prijzen voor de details.

Een verstandige hybride en hoe te beginnen

Je hoeft niet één te kiezen. Ontwikkel en draai privé-experimenten op Ollama, en wiis dan productieverkeer aan de gehoste URL toe door een omgevingsvariabele te wijzigen. Onze gids over een LLM zelf hosten somt op wat een zelfgehoste setup inhoudt, en uncensored Ollama-modellen behandelt lokale opties als je liever offline blijft.

Om het endpoint te proberen, maak een account aan op de API-sleutelpagina en claim het $0,50 proeftegoed met één klik. Het vereist geen kaart, duurt 7 dagen en is beperkt tot één per persoon. Test je echte prompts ermee voordat je iets verplaatst.

Vragen en antwoorden

Is de gehoste API compatibel met Ollama's OpenAI-endpoint?

Beide volgen de OpenAI chatcompletiesindeling, dus code die is geschreven voor Ollama's /v1-route heeft meestal alleen een basis-URL, sleutel en model-ID nodig.

Kan ik de native Ollama-API tegen deze dienst gebruiken?

Nee. Gebruik de OpenAI-achtige routes: /v1/chat/completions, /v1/responses en /v1/models.

Kan ik een model van mijn keuze draaien?

Nee. De service draait een enkel open-weight model, geselecteerd met de ID uncensored. Als je de weights zelf wilt kiezen, blijf Ollama gebruiken.

Worden embeddings ondersteund?

Nee. Het is alleen tekstgeneratie, dus gebruik een lokaal of apart embedding-model als je er een nodig hebt.

Je sleutel is nog maar één formulier verwijderd

Maak een account aan, kopieer de sleutel, pas de base URL aan. Dat is de hele setup.

API-sleutel aanvragen

https://api.uncensoredllmhub.com/v1