Kluczowe punkty
- Ollama jest doskonały do pracy prywatnej, offline i dla jednego użytkownika; endpoint hostowany wygrywa, gdy potrzebujesz współbieżności i ciągłej dostępności.
- Przejście to dwie linie dla większości aplikacji: base URL i ID modelu.
- Serwis oferuje okno 100 000 tokenów, 8 równoległych zapytań na pełnym kluczu oraz model rozliczeniowy pay-as-you-go.
- Zachowaj Ollama do eksperymentów, a API hostowane do ruchu produkcyjnego. Wiele zespołów używa obu.
Krótka odpowiedź: kto powinien przejść
Zostań przy Ollama, jeśli pracujesz sam, chcesz mieć wszystko offline lub lubisz sam wybierać i zmieniać wagi. Uruchomienie jest darmowe, prywatność wynika z konstrukcji, a tryb zgodny z OpenAI w /v1 ułatwia budowanie.
Rozważ alternatywę dla API Ollama, jeśli: kilka osób lub procesów wywołuje model jednocześnie, potrzebujesz dostępności, gdy Twój komputer śpi, Twoje prompty są długie, a pamięć GPU nie wystarcza, albo spędzasz więcej czasu na administrowaniu serwerem niż na budowaniu produktu. Endpoint hostowany zamienia model w URL i klucz. Zyskujesz brak konieczności zarządzania sprzętem kosztem kontroli nad wagami.
Ta strona to właśnie taki endpoint: tekstowe API zgodne z OpenAI uruchamiające jeden model o otwartych wagach, dostrojony do odpowiadania bez odmów treści dla prawnego użytku dorosłych (z wyłączeniem treści seksualnych z udziałem nieletnich). Nie jest to oficjalne API żadnego dostawcy modeli. Szczegóły znajdziesz w dokumentacji.
Lokalne Ollama i endpoint hostowany obok siebie
| Temat | Lokalna Ollama | Endpoint hostowany tutaj |
|---|---|---|
| Model kosztowy | Twój sprzęt i energia | $0,15 za 1 mln tokenów wejścia, $0,50 za 1 mln tokenów wyjścia |
| Równoległe zapytania | Ograniczone przez Twoje GPU i ustawienia takie jak równoległe sloty | 8 równoległych zapytań przy pełnym kluczu |
| Kontekst | Ustawiane na model; ograniczone przez VRAM | 100 000 tokenów, prompt plus uzupełnienie |
| Dostępność | Dopóki Twoja maszyna jest włączona | Zawsze dostępne przez HTTPS |
| Prywatność | Dane nigdy nie opuszczają maszyny | Prompty nie są używane do trenowania |
| Wybór modelu | Każdy model, który możesz pobrać i zmieścić | Jeden model, ID uncensored |
| Konfiguracja | Instalacja, pobranie wag, dostrajanie | Utwórz klucz, ustaw bazowy URL |
Ostatni wiersz prywatności wymaga uczciwości. Lokalnie jest tu silniejszy. Jeśli dokument musi nigdy opuścić Twoją sieć, uruchom go lokalnie. Jeśli zależy Ci tylko na tym, aby prompty nie trafiły do zbioru treningowego kogoś innego, hostowany serwis, który tak deklaruje, jest akceptowalny dla wielu projektów.
Współbieżność i czas pracy
Ollama może obsługiwać równoległe zapytania, ale przepustowość jest ograniczona przez Twoje GPU. Gdy kilka wywołań nakłada się, każde zwalnia, a zapytanie wymagające zmiany modelu może zablokować kolejkę. Dla jednego developera rzadko ma to znaczenie. Dla bota z dwudziema otwartymi czatami już tak.
Pełny klucz pozwala na 8 równoległych zapytań i 300 zapytań na minutę. Klucz próbny daje 2 i 60. Po przekroczeniu limitu API zwraca HTTP 429: błąd rate_limited oznacza za dużo zapytań na minutę, concurrency oznacza za dużo naraz, a nagłówek Retry-After: 5 oznacza tymczasowe przeciążenie. Klient powinien odczekać i ponowić próbę. Zapytanie strumieniowe zajmuje slot do końca strumienia, więc zamykaj strumienie, których nie czytasz.
Nie cytuję procentów czasu pracy, bo nie są publikowane dla tego serwisu. Jeśli czas pracy jest wymaganiem krytycznym, przetestuj go własnym ruchem w okresie próbnym i zachowaj plan awaryjny.
Długość kontekstu i pamięć
Kontekst to miejsce, gdzie lokalne konfiguracje czują ucisk. Bufor klucz-wartość rośnie z każdym tokenem, więc długi prompt rywalizuje z wagami modelu o pamięć GPU. Ollama pozwala zwiększyć okno kontekstu na model, ale większe okno na karcie konsumenckiej często oznacza mniejszy lub bardziej skwantyzowany model.
Okno kontekstu wynosi 100 000 tokenów, a odpowiedź może wykorzystać resztę, więc max_tokens jest opcjonalne. To wystarczy na długi dokument i długą odpowiedź albo historię roleplay trwającą godziny. Duże wejście ma swoją cenę, którą możesz obliczyć dokładnie: prompt 60 000 tokenów kosztuje 60 000 / 1 000 000 x $0,15 = $0,009, a odpowiedź 2000 tokenów kosztuje 2000 / 1 000 000 x $0,50 = $0,001. Jedno wywołanie z długim dokumentem kosztuje około jednego centa.
Co zmienia się w Twoim kodzie
Jeśli już wywołujesz Ollama przez jego trasę zgodną z OpenAI, zmieniasz bazowy URL, klucz i nazwę modelu. Nic więcej.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Strumieniowanie działa tak samo. Ten przykład Node.js używa oficjalnego pakietu OpenAI.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Jeśli używałeś natywnych tras /api/chat Ollama, musisz dokonać niewielkiej modyfikacji do formatu chat completions, głównie zmieniając nazwy pól. Wywoływanie funkcji (tools, tool_choice), tryb JSON (response_format) i parametry próbkowania są obsługiwane. Dostępne endpointy to POST /v1/chat/completions, POST /v1/responses i GET /v1/models. Nie ma endpointu embeddingów, więc jeśli Twoja aplikacja używa Ollama do embeddingów, zostaw tę część lokalnie.
Koszt: kiedy hostowanie opłaca się bardziej
Lokalne rozwiązanie nie jest darmowe. GPU obsługujące model średniej wielkości kosztuje sporo na zakup, pobiera energię i stoi bezczynnie między zapytaniami. Zdalne API pobiera opłatę tylko za tokeny, więc przy niskim i szczytowym użyciu preferowane jest rozwiązanie hostowane z dużym wyprzedzeniem.
Przykład: aplikacja czatu z 5 000 zapytań miesięcznie, każde z 3 000 tokenami wejściowymi i 400 tokenami wyjściowymi. Wejście: 5 000 x 3 000 = 15 000 000 tokenów, czyli 15 x $0,15 = $2,25. Wyjście: 5 000 x 400 = 2 000 000 tokenów, czyli 2 x $0,50 = $1,00. Miesięczny rachunek to $3,25. Ciężki, stały ruch zmienia rachubę, a już posiadane GPU pracujące całą dobę może wygrać. Porównaj to ze swoimi kosztami prądu i sprzętu, a przed decyzją sprawdź aktualne ceny innych dostawców.
Kredyt jest przedpłacony, nie wygasa, a nieudane lub odrzucone zapytania nie są rozliczane. Doładowania wynoszą od $20 do $500 z bonusami od $50, a zapłacić można kryptowalutami. Szczegóły znajdziesz w cenniku.
Rozsądna hybryda i jak zacząć
Nie musisz wybierać jednego. Rozwijaj i uruchamiaj prywatne eksperymenty na Ollama, a następnie skieruj ruch produkcyjny na URL hostowany, zmieniając zmienną środowiskową. Nasz przewodnik na hostowaniu LLM samodzielnie wymienia, czego wymaga konfiguracja self-hosted, a modele Ollama bez cenzury omawia opcje lokalne, jeśli wolisz zostać offline.
Aby wypróbować endpoint, załóż konto na stronie kluczy API i odbierz kredyt próbny $0,50 jednym kliknięciem. Nie wymaga karty, trwa 7 dni i jest limitowany na jedną osobę. Uruchom przez niego prawdziwe prompty, zanim przeniesiesz cokolwiek.

