मुख्य बिंदु
- Ollama निजी, ऑफलाइन और एकल-उपयोगकर्ता कार्य के लिए उत्कृष्ट है; जब आपको समानांतर अनुरोध और सदैव-सक्रिय एक्सेस की आवश्यकता हो, तो होस्टेड एंडपॉइंट बेहतर है।
- अधिकांश एप्लिकेशन के लिए स्विच करने में दो लाइन लगती हैं: बेस URL और मॉडल ID।
- यह सेवा 100,000-टोकन विंडो, पूर्ण API कुंजी पर 8 समानांतर अनुरोध और उपयोग-के-अनुसार मूल्य निर्धारण प्रदान करती है।
- प्रायोगिक कार्य के लिए Ollama रखें और उत्पादन ट्रैफ़िक के लिए होस्टेड API का उपयोग करें। कई टीमें दोनों का उपयोग करती हैं।
संक्षिप्त उत्तर: कौन स्विच करे
यदि आप अकेले काम करते हैं, सब कुछ ऑफलाइन चाहते हैं, या वेट्स खुद चुनना और बदलना पसंद करते हैं, तो Ollama पर बने रहें। यह चलाने के लिए मुफ़्त है, संरचनात्मक रूप से निजी है, और इसका OpenAI-संगत मोड /v1 पर आसानी से बिल्ड करने देता है।
इनमें से किसी एक स्थिति में Ollama API विकल्प पर ध्यान दें: एक से अधिक लोग या प्रक्रियाएँ एक साथ मॉडल को कॉल करती हैं, आपको उस सेवा की आवश्यकता है जब आपका कंप्यूटर सो रहा हो, आपके प्रॉम्प्ट लंबे हैं और आपकी GPU मेमोरी पर्याप्त नहीं है, या आप उत्पाद बनाने की तुलना में सर्वर की देखभाल में अधिक समय बिताते हैं। एक होस्टेड एंडपॉइंट मॉडल को एक URL और कुंजी में बदल देता है। आप वेट्स पर नियंत्रण खोकर हार्डवेयर प्रबंधन से मुक्ति पाते हैं।
यह साइट एक ऐसा ही एंडपॉइंट है: एक OpenAI-संगत टेक्स्ट API जो एक ओपन-वेट मॉडल चलाती है जिसे कानूनी वयस्क उपयोग के लिए बिना सामग्री अस्वीकृति के उत्तर देने के लिए ट्यून्ड किया गया है। यह किसी मॉडल विक्रेता की आधिकारिक API नहीं है। विवरण दस्तावेज़ीकरण में हैं।
स्थानीय Ollama और होस्टेड एंडपॉइंट, साथ-साथ
| विषय | स्थानीय Ollama | यहाँ होस्टेड एंडपॉइंट |
|---|---|---|
| लागत मॉडल | आपका हार्डवेयर और बिजली | $0.15 प्रति 1M इनपुट टोकन, $0.50 प्रति 1M आउटपुट टोकन |
| समानांतर अनुरोध | आपकी GPU और समानांतर स्लॉट्स जैसे सेटिंग्स द्वारा सीमित | पूर्ण कुंजी पर 8 समानांतर अनुरोध |
| कॉन्टेक्स्ट विंडो | प्रति मॉडल सेट; VRAM द्वारा बाध्य | 100,000 टोकन, प्रॉम्प्ट और पूर्णता |
| उपलब्धता | जब तक आपकी मशीन चालू है | HTTPS पर हमेशा पहुँच योग्य |
| गोपनीयता | डेटा कभी भी मशीन से बाहर नहीं जाता | प्रॉम्प्ट को प्रशिक्षण के लिए उपयोग नहीं किया जाता |
| मॉडल चयन | कोई भी मॉडल जिसे आप डाउनलोड और फिट कर सकें | एक मॉडल, ID uncensored |
| सेटअप | इंस्टॉल करें, वेट्स खींचें, ट्यून करें | एक कुंजी बनाएं, बेस URL सेट करें |
गोपनीयता की अंतिम पंक्ति ईमानदारी की मांग करती है। स्थानीय सेटअप इस मामले में मजबूत है। यदि दस्तावेज़ को कभी भी आपके नेटवर्क से बाहर नहीं जाना चाहिए, तो उसे स्थानीय रूप से चलाएं। यदि आपको केवल यह चाहिए कि प्रॉम्प्ट किसी की प्रशिक्षण सेट में न जाएं, तो एक होस्टेड सेवा जो ऐसा कहती है, कई परियोजनाओं के लिए स्वीकार्य है।
समानांतरता और अपटाइम
Ollama समानांतर अनुरोधों को सर्व कर सकता है, लेकिन थ्रूपुट आपकी GPU द्वारा बाध्य है। एक से अधिक कॉल ओवरलैप होने पर, प्रत्येक धीमा हो जाता है, और एक अनुरोध जिसमें मॉडल स्विच की आवश्यकता है, कतार को रोक सकता है। एक अकेले डेवलपर के लिए यह दुर्लभ रूप से मायने रखता है। एक बॉट के लिए जिसके बीस चैट खुले हैं, यह मायने रखता है।
एक फुल की पर आपको 8 समानांतर अनुरोध और प्रति मिनट 300 अनुरोध मिलते हैं। ट्रायल की पर 2 और 60 मिलते हैं। जब आप सीमा पार करते हैं, तो API HTTP 429 लौटाता है: त्रुटि कोड rate_limited का अर्थ है प्रति मिनट बहुत अधिक अनुरोध, concurrency का अर्थ है एक साथ बहुत अधिक अनुरोध, और Retry-After: 5 हेडर अस्थायी ओवरलोड को चिह्नित करता है। आपके क्लाइंट को प्रतीक्षा करके पुनः प्रयास करना चाहिए। एक स्ट्रीमिंग अनुरोध तब तक अपना स्लॉट पकड़े रखता है जब तक स्ट्रीम समाप्त न हो जाए, इसलिए स्ट्रीम्स को बंद करें जिन्हें आप अब नहीं पढ़ रहे हैं।
मैं अपटाइम प्रतिशत नहीं उद्धृत करता क्योंकि इस सेवा के लिए कोई अपटाइम प्रतिशत प्रकाशित नहीं हैं। यदि अपटाइम एक कठोर आवश्यकता है, तो ट्रायल अवधि के दौरान अपने स्वयं के ट्रैफ़िक के साथ इसका परीक्षण करें और एक फॉलबैक रखें।
कॉन्टेक्स्ट लंबाई और मेमोरी
संदर्भ विंडो वह जगह है जहाँ स्थानीय सेटअप दबाव महसूस करते हैं। की-वैल्यू कैश हर टोकन के साथ बढ़ता है, इसलिए एक लंबा प्रॉम्प्ट GPU मेमोरी के लिए मॉडल वेट्स के साथ प्रतिस्पर्धा करता है। Ollama आपको प्रति मॉडल कॉन्टेक्स्ट विंडो बढ़ाने देता है, लेकिन एक कंज्यूमर कार्ड पर बड़ी विंडो का अर्थ अक्सर छोटा या अधिक क्वांटाइज़्ड मॉडल होता है।
यहाँ विंडो 100,000 टोकन है और पूर्णता इसकी बची हुई किसी भी चीज़ का उपयोग कर सकती है, इसलिए max_tokens वैकल्पिक है। यह एक लंबे दस्तावेज़ और एक लंबे उत्तर के लिए पर्याप्त है, या एक रोलप्ले इतिहास जो घंटों चलता है। बड़े इनपुट की कीमत होती है, जिसे आप सटीक रूप से गणना कर सकते हैं: एक 60,000-टोकन प्रॉम्प्ट की लागत 60,000 / 1,000,000 x $0.15 = $0.009 है, और एक 2,000-टोकन उत्तर की लागत 2,000 / 1,000,000 x $0.50 = $0.001 है। एक लंबे दस्तावेज़ कॉल लगभग एक सेंट पर आती है।
आपके कोड में क्या बदलाव आएंगे
यदि आप पहले से ही Ollama को इसके OpenAI-संगत मार्ग के माध्यम से कॉल कर रहे हैं, तो आपको बेस URL, कुंजी और मॉडल नाम बदलना है। कुछ और नहीं।
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)स्ट्रीमिंग उसी तरह काम करता है। यह Node उदाहरण आधिकारिक OpenAI पैकेज का उपयोग करता है।
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}यदि आपने Ollama के स्थानीय /api/chat मार्गों का उपयोग किया था, तो आपको चैट पूर्णता प्रारूप में एक छोटा पुनर्लेखन की आवश्यकता है, मुख्य रूप से फ़ील्ड्स को नाम बदलकर। टूल कॉलिंग (tools, tool_choice), JSON मोड (response_format) और सैंपलिंग पैरामीटर्स समर्थित हैं। उपलब्ध एंडपॉइंट्स हैं POST /v1/chat/completions, POST /v1/responses और GET /v1/models। कोई एम्बेडिंग एंडपॉइंट नहीं है, इसलिए यदि आपका ऐप एम्बेडिंग्स के लिए Ollama का उपयोग करता है, तो उस भाग को स्थानीय रखें।
लागत: होस्टेड कब सस्ता आता है
स्थानीय रूप से चलाना मुफ़्त नहीं है। एक मध्यम आकार का मॉडल चलाने वाले GPU को खरीदने में पैसा लगता है, बिजली खर्च होती है, और अनुरोधों के बीच वह निष्क्रिय रहता है। एक होस्टेड API केवल टोकन के लिए चार्ज करती है, इसलिए कम और चढ़ाव-उतार वाला उपयोग होस्टेड सेवा को व्यापक रूप से बेहतर बनाता है।
एक हल किया गया उदाहरण: एक चैट ऐप जिसमें महीने में 5,000 अनुरोध हैं, प्रत्येक में 3,000 इनपुट टोकन और 400 आउटपुट टोकन हैं। इनपुट: 5,000 x 3,000 = 15,000,000 टोकन, या 15 x $0.15 = $2.25। आउटपुट: 5,000 x 400 = 2,000,000 टोकन, या 2 x $0.50 = $1.00। मासिक बिल $3.25 है। भारी सतत ट्रैफिक गणित बदल देता है, और एक पहले से खरीदा गया GPU जो दिन-रात चलता है, वह फायदा हो सकता है। निर्णय लेने से पहले अपनी बिजली और हार्डवेयर संख्याओं की तुलना करें और अन्य प्रदाताओं की वर्तमान कीमतों की जांच करें।
क्रेडिट प्रीपेड है, कभी समाप्त नहीं होता, और विफल या अस्वीकृत अनुरोधों के लिए चार्ज नहीं किया जाता। टॉप-अप $20 से $500 तक होते हैं, जिसमें $50 से शुरू होने वाले बोनस शामिल हैं, और आप क्रिप्टो से भुगतान कर सकते हैं। विवरण के लिए मूल्य निर्धारण देखें।
एक समझदार हाइब्रिड और शुरुआत कैसे करें
आपको एक ही विकल्प चुनने की जरूरत नहीं है। Ollama पर निजी प्रयोग करें और चलाएं, फिर एक एन्वायरनमेंट वेरिएबल बदलकर उत्पादन ट्रैफ़िक को होस्टेड URL पर पॉइंट करें। हमारी मार्गदर्शिका LLM को स्वयं होस्ट करना सूचीबद्ध करती है कि एक स्व-होस्टेड सेटअप में क्या शामिल है, और uncensored Ollama मॉडल स्थानीय विकल्पों को कवर करता है यदि आप ऑफलाइन रहना पसंद करते हैं।
एंडपॉइंट को आज़माने के लिए, API कुंजी पृष्ठ पर एक खाता बनाएं और एक क्लिक में $0.50 का मुफ़्त ट्रायल क्रेडिट क्लेम करें। इसके लिए कार्ड की जरूरत नहीं है, यह 7 दिनों तक चलता है और यह प्रति व्यक्ति एक तक सीमित है। कुछ भी स्थानांतरित करने से पहले अपने असली प्रॉम्प्ट्स को इसके माध्यम से चलाएं।

