نقاط رئيسية
- يُعد Ollama ممتازًا للأعمال الخاصة وغير المتصلة بالإنترنت وفردية المستخدم؛ بينما تتفوق نقطة النهاية المستضافة عندما تحتاج إلى طلبات متزامنة وإتاحة دائمة.
- يتمثل التبديل في سطرين لمعظم التطبيقات: عنوان URL الأساسي ومعرف النموذج.
- توفر هذه الخدمة نافذة سياق بحجم 100,000 رمز، و8 طلبات متزامنة مع المفتاح الكامل، وتسعير الدفع حسب الاستخدام.
- احتفظ بـ Ollama للتجارب واستخدم واجهة برمجة التطبيقات المستضافة لحركة الإنتاج. تستخدم العديد من الفرق الطريقتين معًا.
الإجابة المختصرة: من الذي يجب أن يتحول
ابقَ على Ollama إذا كنت تعمل بمفردك، وتريد كل شيء دون اتصال، أو تحب اختيار الأوزان وتبديلها بنفسك. إنه مجاني للتشغيل، وخاص بطبيعته، ويجعل وضعه المتوافق مع OpenAI في /v1 من السهل البناء عليه.
انظر إلى بديل واجهة برمجة التطبيقات Ollama عندما يكون أحد هذه الشروط صحيحاً: عدة أشخاص أو عمليات تستدعي النموذج في آن واحد، تحتاج إلى الخدمة أثناء نوم حاسوبك الخاص، أو موجّهاتك طويلة وذاكرة وحدة معالجة الرسومات لديك غير كافية، أو تقضي وقتاً أطول في رعاية الخادم بدلاً من بناء المنتج. تحول نقطة النهاية المستضافة النموذج إلى عنوان URL ومفتاح. تتنازل عن التحكم في الأوزان مقابل عدم الحاجة لإدارة الأجهزة.
هذا الموقع هو إحدى نقاط النهاية هذه: واجهة برمجة تطبيقات نصية متوافقة مع OpenAI تعمل بنموذج مفتوح الأوزان مُعدّ للإجابة دون رفض المحتوى للاستخدام القانوني للبالغين. إنها ليست واجهة برمجة تطبيقات رسمية لأي مورد للنماذج. التفاصيل موجودة في التوثيق.
Ollama المحلي ونقطة نهاية مستضافة، جنباً إلى جنب
| الموضوع | Ollama المحلي | نقطة النهاية المستضافة هنا |
|---|---|---|
| نموذج التكلفة | أجهزتك والطاقة | $0.15 لكل مليون رمز إدخال، و$0.50 لكل مليون رمز إخراج |
| الطلبات المتزامنة | محدود بوحدة معالجة الرسومات والإعدادات مثل الفتحات المتوازية | 8 طلبات متزامنة على مفتاح كامل |
| السياق | تُضبط لكل نموذج؛ محدودة بذاكرة VRAM | 100,000 رمز، الموجّه بالإضافة إلى الإكمال |
| التوفر | طالما أن جهازك قيد التشغيل | متاحة دائماً عبر HTTPS |
| الخصوصية | البيانات لا تغادر الجهاز أبداً | لا تُستخدم الموجّهات في التدريب |
| اختيار النموذج | أي نموذج يمكنك تنزيله وتجهيزه | نموذج واحد، المعرف uncensored |
| الإعداد | التثبيت، سحب الأوزان، الضبط الدقيق | إنشاء مفتاح، ضبط Base URL |
السطر الأخير من الخصوصية يحتاج إلى صدق. المحلي أقوى في هذا الجانب. إذا كان يجب ألا يغادر مستند معين شبكتك، فقم بتشغيله محلياً. إذا كنت تحتاج فقط إلى ألا تُغذّي الموجّهات مجموعة تدريب شخص ما، فإن خدمة مستضافة تقول ذلك مقبولة للعديد من المشاريع.
التزامن وتوفر الخدمة
يمكن لـ Ollama خدمة الطلبات المتزامنة، لكن الإنتاجية محدودة بوحدة معالجة الرسومات (GPU) الخاصة بك. بمجرد تداخل عدة مكالمات، يتباطأ كل منها، وقد يتأخر الطلب الذي يحتاج إلى تبديل النموذج في الطابور. بالنسبة لمطور واحد، نادراً ما يهم هذا. بالنسبة إلى روبوت لديه عشرين دردشة مفتوحة، فإنه يهم.
على مفتاح كامل هنا تحصل على 8 طلبات متزامنة و300 طلب في الدقيقة. يحصل المفتاح التجريبي على 2 و60. عندما تتجاوز ذلك، ترد واجهة برمجة التطبيقات بـ HTTP 429: رمز الخطأ rate_limited يعني الكثير في الدقيقة، وconcurrency يعني الكثير في وقت واحد، ويحدد رأس Retry-After: 5 الحمل الزائد المؤقت. يجب أن ينتظر العميل الخاص بك ويعيد المحاولة. يحتفظ الطلب المتدفق بمكانه حتى ينتهي البث، لذا أغلق البث الذي لم تعد تقرأه.
لا أذكر نسب توفر الخدمة لأن أيّاً منها غير منشور لهذه الخدمة. إذا كان توفر الخدمة شرطاً صارماً، فاختبره باستخدام حركة المرور الخاصة بك خلال فترة التجربة واحتفظ بنسخة احتياطية.
طول السياق والذاكرة
السياق هو المكان الذي يشعر فيه الإعداد المحلي بالضغط. ينمو المخزن المؤقت للقيم المفتاحية مع كل رمز، لذا يتنافس الموجّه الطويل مع أوزان النموذج على ذاكرة GPU. يسمح لك Ollama بزيادة السياق لكل نموذج، لكن النافذة الأكبر على بطاقة استهلاكية تعني غالباً نموذجاً أصغر أو مُكمّساً أكثر.
هنا، النافذة هي 100,000 رمز، ويمكن للإكمال استخدام أي جزء متبقي منها، لذا فإن max_tokens اختياري. هذا يكفي لوثيقة طويلة بالإضافة إلى إجابة طويلة، أو تاريخ لعب أدوار يستمر لساعات. المدخلات الكبيرة لها سعر، يمكنك حسابه بدقة: تكلفة موجّه بـ 60,000 رمز هي 60,000 / 1,000,000 x $0.15 = $0.009، وتكلفة رد بـ 2,000 رمز هي 2,000 / 1,000,000 x $0.50 = $0.001. تستغرق مكالمة وثيقة طويلة واحدة قرابة واحد سنت.
ما الذي يتغير في الكود الخاص بك
إذا كنت تستدعي Ollama بالفعل عبر مساره المتوافق مع OpenAI، فإنك تغير عنوان URL الأساسي والمفتاح واسم النموذج. لا شيء آخر.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)يعمل البث المتدفق بنفس الطريقة. يستخدم هذا المثال لـ Node الحزمة الرسمية لـ OpenAI.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}إذا كنت قد استخدمت مسارات /api/chat الأصلية لـ Ollama، فأنت بحاجة إلى إعادة كتابة صغيرة لتنسيق إكمال الدردشة، وأبرزها تغيير أسماء الحقول. استدعاء الأدوات (tools، tool_choice)، ووضع JSON (response_format) ومعلمات أخذ العينات مدعومة. نقاط النهاية المتاحة هي POST /v1/chat/completions، وPOST /v1/responses وGET /v1/models. لا توجد نقاط نهاية للتضميم، لذا إذا كان تطبيقك يستخدم Ollama للتضميم، فاحتفظ بذلك الجزء محلياً.
التكلفة: متى تصبح الخدمة المستضافة أرخص
المحلي ليس مجانياً. GPU الذي يشغل نموذجاً متوسط الحجم يكلف المال للشراء، ويستهلك الطاقة، ويبقى خاملًا بين الطلبات. تفرض واجهة برمجة التطبيقات المستضافة فقط مقابل الرموز، لذا فإن الاستخدام المنخفض والمتقطع يفضل الخدمة المستضافة بشكل كبير.
مثال عملي: تطبيق دردشة بـ 5,000 طلب في الشهر، كل منها يحتوي على 3,000 رمز (token) مدخل و400 رمز (token) مخرج. المدخلات: 5,000 x 3,000 = 15,000,000 رمز (token)، أو 15 x $0.15 = $2.25. المخرجات: 5,000 x 400 = 2,000,000 رمز (token)، أو 2 x $0.50 = $1.00. الفاتورة الشهرية هي $3.25. يغير الحمل المستمر الثقيل الحسابات، وقد تفوز وحدة معالجة الرسومات (GPU) المملوكة مسبقاً والتي تعمل على مدار الساعة. قارن ذلك برسوم الكهرباء والأجهزة الخاصة بك، وتحقق من أسعار المزودين الآخرين الحالية قبل اتخاذ القرار.
الرصيد مسبق الدفع، ولا ينتهي، ولا تُحتسب رسوم على الطلبات الفاشلة أو المرفوضة. تعمل الإضافات من $20 إلى $500 مع مكافآت من $50، ويمكنك الدفع بالعملات المشفرة فقط. انظر التسعير للحصول على التفاصيل.
هجين معقول وكيفية البدء
لا يلزمك اختيار واحد. قم بتطوير وتشغيل تجارب خاصة على Ollama، ثم وجّه حركة الإنتاج إلى عنوان URL المستضاف عن طريق تغيير متغير بيئة. يوضح دليلنا حول استضافة نموذج LLM بنفسك ما تتضمنه الإعدادات المستضافة ذاتيًا، ويغطي نماذج Ollama uncensored الخيارات المحلية إذا كنت تفضل البقاء دون اتصال.
لتجربة نقطة النهاية، أنشئ حسابًا على صفحة مفتاح API واحصل على رصيد تجريبي بقيمة $0.50 بنقرة واحدة. لا يتطلب بطاقة، ويستمر لمدة 7 أيام، ومحدود بنسخة واحدة لكل شخص. شغّل الموجّهات الحقيقية الخاصة بك من خلاله قبل نقل أي شيء.

