PL ▾

Zacznij od kredytu próbnego

E-mail i hasło, klucz od razu na ekranie.

https://api.uncensoredllmhub.com/v1

Alternatywa dla API Ollama: Kiedy użyć endpointu hostowanego

Alternatywa dla API Ollama ma sens, gdy Twoja aplikacja przekracza możliwości jednego komputera: więcej użytkowników jednocześnie, dłuższe prompty lub laptop, którego nie chcesz trzymać włączonym. Artykuł porównuje lokalne Ollama z endpointem zgodnym z OpenAI i pokazuje niewielką zmianę kodu potrzebną do przejścia.

Zaktualizowano

Lokalny komputer połączony z serwerem hostowanym, ilustracja przejścia z Ollama na API hostowane
Szafa serwerowa i waga szalowa z monetami obok świecącej się chmury, porównująca hostowanie własne z API

Kluczowe punkty

  • Ollama jest doskonały do pracy prywatnej, offline i dla jednego użytkownika; endpoint hostowany wygrywa, gdy potrzebujesz współbieżności i ciągłej dostępności.
  • Przejście to dwie linie dla większości aplikacji: base URL i ID modelu.
  • Serwis oferuje okno 100 000 tokenów, 8 równoległych zapytań na pełnym kluczu oraz model rozliczeniowy pay-as-you-go.
  • Zachowaj Ollama do eksperymentów, a API hostowane do ruchu produkcyjnego. Wiele zespołów używa obu.

Krótka odpowiedź: kto powinien przejść

Zostań przy Ollama, jeśli pracujesz sam, chcesz mieć wszystko offline lub lubisz sam wybierać i zmieniać wagi. Uruchomienie jest darmowe, prywatność wynika z konstrukcji, a tryb zgodny z OpenAI w /v1 ułatwia budowanie.

Rozważ alternatywę dla API Ollama, jeśli: kilka osób lub procesów wywołuje model jednocześnie, potrzebujesz dostępności, gdy Twój komputer śpi, Twoje prompty są długie, a pamięć GPU nie wystarcza, albo spędzasz więcej czasu na administrowaniu serwerem niż na budowaniu produktu. Endpoint hostowany zamienia model w URL i klucz. Zyskujesz brak konieczności zarządzania sprzętem kosztem kontroli nad wagami.

Ta strona to właśnie taki endpoint: tekstowe API zgodne z OpenAI uruchamiające jeden model o otwartych wagach, dostrojony do odpowiadania bez odmów treści dla prawnego użytku dorosłych (z wyłączeniem treści seksualnych z udziałem nieletnich). Nie jest to oficjalne API żadnego dostawcy modeli. Szczegóły znajdziesz w dokumentacji.

Lokalne Ollama i endpoint hostowany obok siebie

TematLokalna OllamaEndpoint hostowany tutaj
Model kosztowyTwój sprzęt i energia$0,15 za 1 mln tokenów wejścia, $0,50 za 1 mln tokenów wyjścia
Równoległe zapytaniaOgraniczone przez Twoje GPU i ustawienia takie jak równoległe sloty8 równoległych zapytań przy pełnym kluczu
KontekstUstawiane na model; ograniczone przez VRAM100 000 tokenów, prompt plus uzupełnienie
DostępnośćDopóki Twoja maszyna jest włączonaZawsze dostępne przez HTTPS
PrywatnośćDane nigdy nie opuszczają maszynyPrompty nie są używane do trenowania
Wybór modeluKażdy model, który możesz pobrać i zmieścićJeden model, ID uncensored
KonfiguracjaInstalacja, pobranie wag, dostrajanieUtwórz klucz, ustaw bazowy URL

Ostatni wiersz prywatności wymaga uczciwości. Lokalnie jest tu silniejszy. Jeśli dokument musi nigdy opuścić Twoją sieć, uruchom go lokalnie. Jeśli zależy Ci tylko na tym, aby prompty nie trafiły do zbioru treningowego kogoś innego, hostowany serwis, który tak deklaruje, jest akceptowalny dla wielu projektów.

Współbieżność i czas pracy

Ollama może obsługiwać równoległe zapytania, ale przepustowość jest ograniczona przez Twoje GPU. Gdy kilka wywołań nakłada się, każde zwalnia, a zapytanie wymagające zmiany modelu może zablokować kolejkę. Dla jednego developera rzadko ma to znaczenie. Dla bota z dwudziema otwartymi czatami już tak.

Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny daje 2 i 60. Po przekroczeniu limitu API zwraca HTTP 429: błąd rate_limited oznacza za dużo zapytań na minutę, concurrency oznacza za dużo naraz, a nagłówek Retry-After: 5 oznacza tymczasowe przeciążenie. Klient powinien odczekać i ponowić próbę. Zapytanie strumieniowe zajmuje slot do końca strumienia, więc zamykaj strumienie, których nie czytasz.

Nie cytuję procentów czasu pracy, bo nie są publikowane dla tego serwisu. Jeśli czas pracy jest wymaganiem krytycznym, przetestuj go własnym ruchem w okresie próbnym i zachowaj plan awaryjny.

Długość kontekstu i pamięć

Kontekst to miejsce, gdzie lokalne konfiguracje czują ucisk. Bufor klucz-wartość rośnie z każdym tokenem, więc długi prompt rywalizuje z wagami modelu o pamięć GPU. Ollama pozwala zwiększyć okno kontekstu na model, ale większe okno na karcie konsumenckiej często oznacza mniejszy lub bardziej skwantyzowany model.

Okno kontekstu wynosi 100 000 tokenów, a odpowiedź może wykorzystać resztę, więc max_tokens jest opcjonalne. To wystarczy na długi dokument i długą odpowiedź albo historię roleplay trwającą godziny. Duże wejście ma swoją cenę, którą możesz obliczyć dokładnie: prompt 60 000 tokenów kosztuje 60 000 / 1 000 000 x $0,15 = $0,009, a odpowiedź 2000 tokenów kosztuje 2000 / 1 000 000 x $0,50 = $0,001. Jedno wywołanie z długim dokumentem kosztuje około jednego centa.

Co zmienia się w Twoim kodzie

Jeśli już wywołujesz Ollama przez jego trasę zgodną z OpenAI, zmieniasz bazowy URL, klucz i nazwę modelu. Nic więcej.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Strumieniowanie działa tak samo. Ten przykład Node.js używa oficjalnego pakietu OpenAI.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Jeśli używałeś natywnych tras /api/chat Ollama, musisz dokonać niewielkiej modyfikacji do formatu chat completions, głównie zmieniając nazwy pól. Wywoływanie funkcji (tools, tool_choice), tryb JSON (response_format) i parametry próbkowania są obsługiwane. Dostępne endpointy to POST /v1/chat/completions, POST /v1/responses i GET /v1/models. Nie ma endpointu embeddingów, więc jeśli Twoja aplikacja używa Ollama do embeddingów, zostaw tę część lokalnie.

Koszt: kiedy hostowanie opłaca się bardziej

Lokalne rozwiązanie nie jest darmowe. GPU obsługujące model średniej wielkości kosztuje sporo na zakup, pobiera energię i stoi bezczynnie między zapytaniami. Zdalne API pobiera opłatę tylko za tokeny, więc przy niskim i szczytowym użyciu preferowane jest rozwiązanie hostowane z dużym wyprzedzeniem.

Przykład: aplikacja czatu z 5 000 zapytań miesięcznie, każde z 3 000 tokenami wejściowymi i 400 tokenami wyjściowymi. Wejście: 5 000 x 3 000 = 15 000 000 tokenów, czyli 15 x $0,15 = $2,25. Wyjście: 5 000 x 400 = 2 000 000 tokenów, czyli 2 x $0,50 = $1,00. Miesięczny rachunek to $3,25. Ciężki, stały ruch zmienia rachubę, a już posiadane GPU pracujące całą dobę może wygrać. Porównaj to ze swoimi kosztami prądu i sprzętu, a przed decyzją sprawdź aktualne ceny innych dostawców.

Kredyt jest przedpłacony, nie wygasa, a nieudane lub odrzucone zapytania nie są rozliczane. Doładowania wynoszą od $20 do $500 z bonusami od $50, a zapłacić można kryptowalutami. Szczegóły znajdziesz w cenniku.

Rozsądna hybryda i jak zacząć

Nie musisz wybierać jednego. Rozwijaj i uruchamiaj prywatne eksperymenty na Ollama, a następnie skieruj ruch produkcyjny na URL hostowany, zmieniając zmienną środowiskową. Nasz przewodnik na hostowaniu LLM samodzielnie wymienia, czego wymaga konfiguracja self-hosted, a modele Ollama bez cenzury omawia opcje lokalne, jeśli wolisz zostać offline.

Aby wypróbować endpoint, załóż konto na stronie kluczy API i odbierz kredyt próbny $0,50 jednym kliknięciem. Nie wymaga karty, trwa 7 dni i jest limitowany na jedną osobę. Uruchom przez niego prawdziwe prompty, zanim przeniesiesz cokolwiek.

Pytania i odpowiedzi

Czy API hostowane jest kompatybilne z endpointem OpenAI Ollama?

Obie implementują format chat completions OpenAI, więc kod napisany pod /v1 Ollama zwykle wymaga tylko zmiany base URL, klucza i ID modelu.

Czy mogę użyć natywnego API Ollama do tego serwisu?

Nie. Użyj tras w stylu OpenAI: /v1/chat/completions, /v1/responses i /v1/models.

Czy mogę uruchomić wybrany przez siebie model?

Nie. Serwis uruchamia jeden model o otwartych wagach, wybrany po ID uncensored. Jeśli chcesz sam wybierać wagi, kontynuuj używanie Ollama.

Czy obsługuje embeddingi?

Nie. Obsługuje tylko generowanie tekstu, więc zachowaj lokalny lub osobny model embeddingów, jeśli jest Ci potrzebny.

Twój klucz jest o jeden formularz

Utwórz konto, skopiuj klucz, zmień bazowy URL. To cała konfiguracja.

Pobierz klucz API

https://api.uncensoredllmhub.com/v1