HI ▾

ट्रायल क्रेडिट से शुरू करें

ईमेल और पासवर्ड, कुंजी तुरंत स्क्रीन पर।

https://api.uncensoredllmhub.com/v1

LangChain के साथ LLM API: कस्टम एंडपॉइंट कनेक्ट करें

LLM API LangChain सेटअप के लिए आपको केवल ChatOpenAI, एक बेस URL, एक कुंजी और एक मॉडल ID की आवश्यकता है। यह पृष्ठ इस OpenAI-संगत एंडपॉइंट के खिलाफ चेन्स, स्ट्रीमिंग, टूल कॉलिंग और संरचित आउटपुट दिखाता है, जिसमें कोड है जिसे आप कॉपी कर सकते हैं।

अपडेट किया गया

ग्लास चेन लिंक्स एक सर्वर क्यूब से जुड़े हुए, जो LangChain चेन के कस्टम LLM एंडपॉइंट को कॉल करते हुए दिखाते हैं
सर्वर रैक और एक संतुलन पैमाना चमकते हुए क्लाउड के बगल में सिक्कों के साथ, स्व-होस्टिंग की API से तुलना

मुख्य बिंदु

  • ChatOpenAI base_url, api_key और model लेता है, इसलिए कोई भी OpenAI-संगत एंडपॉइंट काम करता है।
  • बेस URL https://api.uncensoredllmhub.com/v1 और मॉडल uncensored का उपयोग करें।
  • टूल कॉलिंग समर्थित है; संरचित आउटपुट के लिए, JSON मोड सबसे सुरक्षित विधि है।
  • सीमाओं का सम्मान करें: पूर्ण कुंजी पर 8 समानांतर अनुरोध, इसलिए अपनी बैच समानांतरता को सीमित करें।

इंस्टॉल करें और कनेक्ट करें

LangChain का OpenAI इंटीग्रेशन कोर लाइब्रेरी से एक अलग पैकेज है। इसे pip install langchain-openai के साथ इंस्टॉल करें। API कुंजी पेज से एक कुंजी प्राप्त करें; नए उपयोगकर्ता एक क्लिक के साथ वहाँ $0.50 का मुफ़्त ट्रायल क्रेडिट दावा कर सकते हैं, कार्ड की आवश्यकता नहीं है।

फिर मॉडल ऑब्जेक्ट बनाएं। तीन तर्क मायने रखते हैं: model, base_url और api_key।

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

यही पूरा इंटीग्रेशन है। नीचे की ओर सब कुछ, जैसे प्रॉम्प्ट, पार्सर, एजेंट और रिट्रीवर्स, llm को किसी भी अन्य चैट मॉडल की तरह मानते हैं। यदि आप वातावरण चर पसंद करते हैं, तो OpenAI SDK OPENAI_API_KEY और OPENAI_BASE_URL पढ़ता है, जो बिना कोड को छुए वातावरण के बीच स्विच करना आसान बनाता है।

एंडपॉइंट क्या सपोर्ट करता है

सर्विस POST /v1/chat/completions, POST /v1/responses और GET /v1/models एक्सपोज़ करती है। ChatOpenAI डिफ़ॉल्ट रूप से चैट कंप्लीशन्स का उपयोग करता है, जो सुरक्षित विकल्प है। मॉडल एक ओपन-वेट मॉडल है जिसे कानूनी वयस्क उपयोग के लिए बिना कंटेंट रिफ्यूज़ल के जवाब देने के लिए ट्यून्ड किया गया है, जिसमें प्रॉम्प्ट और कंप्लीशन के लिए साझा 100,000-टोकन कॉन्टेक्स्ट विंडो है।

LangChain पर निर्भर समर्थित अनुरोध सुविधाएँ: अंत में उपयोग के साथ SSE के माध्यम से स्ट्रीमिंग, टूल कॉलिंग, JSON मोड, और सैंपलिंग पैरामीटर temperature, top_p, stop, seed और पेनल्टीज़। उपलब्ध नहीं: एम्बेडिंग्स, इमेज या ऑडियो जनरेशन, फाइन-ट्यूनिंग। यदि एक रिट्रीवल चेन को एम्बेडिंग्स की आवश्यकता है, तो उस चरण के लिए एक अलग एम्बेडिंग मॉडल का उपयोग करें और जनरेशन के लिए इस एंडपॉइंट को रखें। पूर्ण पैरामीटर नोट्स दस्तावेज़ में हैं।

एक प्रॉम्प्ट, एक मॉडल और एक पार्सर

बेसिक LCEL पैटर्न एक प्रॉम्प्ट को मॉडल में और फिर एक आउटपुट पार्सर में पाइपलाइन करता है। स्ट्रीमिंग .stream() के साथ मुफ़्त आती है।

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

सिस्टम मेसेज हर कॉल के लिए व्यवहार सेट करता है। चूंकि कॉन्टेक्स्ट विंडो बड़ी है, आप कई मामलों में बिना स्प्लिटर के प्रॉम्प्ट टेम्पलेट के माध्यम से लंबा रेफरेंस टेक्स्ट भी फीड कर सकते हैं। इनपुट की लागत 1M टोकन प्रति $0.15 है, इसलिए प्रॉम्प्ट में 20,000-टोकन डॉक्यूमेंट की लागत 20,000 / 1,000,000 x $0.15 = $0.003 प्रति कॉल होती है।

टूल कॉलिंग

टूल कॉलिंग OpenAI फॉर्मेट का पालन करता है: आप फ़ंक्शन परिभाषाएँ भेजते हैं, मॉडल tool_calls के साथ जवाब देता है, आप फ़ंक्शन चलाते हैं और टूल रोल के साथ एक संदेश के रूप में परिणाम वापस करते हैं। LangChain इसे bind_tools में लपेटता है।

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

मॉडल कॉल का अनुरोध करता है; आपका कोड उसे चलाता है। LangGraph जैसे एजेंट फ्रेमवर्क में, एक लूप यह आपके लिए तब तक करता है जब तक मॉडल सादे पाठ में जवाब नहीं दे देता। टूल विवरण छोटे रखें और तर्क नाम सादे रखें। यदि मॉडल एक टूल को नज़रअंदाज़ करता है, तो डॉकस्ट्रिंग को सख्त करें और डिबग करते समय कॉल को मजबूर करने के लिए tool_choice को सेट करें।

JSON मोड के साथ संरचित आउटपुट

एंडपॉइंट JSON मोड सपोर्ट करता है, response_format: {"type":"json_object"}। LangChain में, with_structured_output के माध्यम से इसकी मांग करें और JSON मोड विधि चुनें, फिर एक Pydantic मॉडल के साथ वैलिडेट करें।

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

दो आदतें JSON को विश्वसनीय बनाती हैं। पहला, प्रॉम्प्ट में "JSON" कहें और कुंजी नाम दें, क्योंकि JSON मोड वैध सिंटैक्स की गारंटी देता है लेकिन आपके स्कीमा की नहीं। दूसरा, वैलिडेशन त्रुटियों को पकड़ने और त्रुटि पाठ को मॉडल को एक बार वापस भेजने के लिए कॉल को एक रीट्राई में लपेटें। तब तक स्कीमा-बद्ध डिकोडिंग पर निर्भर न रहें जब तक कि आपने इस एंडपॉइंट के साथ इसका परीक्षण न किया हो।

समानांतर अनुरोध, पुनः प्रयास और लागत नियंत्रण

LangChain .batch() के साथ पैरलल रिक्वेस्ट्स को आसान बनाता है, और वहीं लिमिट्स आती हैं। एक फुल कुंजी 8 कन्करेंट रिक्वेस्ट और प्रति मिनट 300 की अनुमति देती है। एक ट्रायल कुंजी 2 और 60 की अनुमति देती है। कैप के नीचे रहने के लिए config={"max_concurrency": 6} को batch में पास करें।

जब सीमा पार हो जाती है, तो API HTTP 429 लौटाता है कोड rate_limited या concurrency के साथ, और अस्थायी ओवरलोड पर Retry-After: 5 हेडर के साथ। ChatOpenAI में max_retries तर्क होता है जो इन बैकऑफ़ के साथ संभालता है; इसे 3 से 5 पर सेट करें। स्ट्रीम्स पूरा होने तक एक स्लॉट घेरते हैं, इसलिए आधे-पढ़े स्ट्रीम्स को खुला न छोड़ें।

कॉस्ट का उदाहरण: 2,000 आइटम का एक बैच जॉब, प्रत्येक में 800 इनपुट टोकन और 150 आउटपुट टोकन हैं। इनपुट: 2,000 x 800 = 1,600,000 टोकन = 1.6 x $0.15 = $0.24। आउटपुट: 2,000 x 150 = 300,000 टोकन = 0.3 x $0.50 = $0.15। जॉब की लागत $0.39 है। फेल या रिफ्यूज्ड रिक्वेस्ट्स के लिए चार्ज नहीं किया जाता है, और X-Balance-USD हेडर आपको अपना बैलेंस देखने देता है। टॉप-अप के लिए मूल्य निर्धारण देखें, जो $20 से $500 तक चलते हैं और क्रिप्टो द्वारा भुगतान किए जा सकते हैं।

एजेंट्स और कन्वर्सेशन मेमोरी

पहली चेन काम करने के ठीक बाद दो पैटर्न सामने आते हैं। पहला कन्वर्सेशन मेमोरी है। LangChain के मेसेज-हिस्टरी हेल्पर्स पिछले टर्न्स को स्टोर करते हैं और उन्हें हर कॉल से पहले जोड़ते हैं। चूँकि विंडो 100,000 टोकन की है, आप लंबी इतिहास रख सकते हैं, लेकिन याद रखें कि हर टर्न उन्हें फिर से भेजता है। 50 टर्न्स पर प्रत्येक में 30,000-टोकन इतिहास का मतलब 1,500,000 इनपुट टोकन है, या 1.5 x $0.15 = $0.225 उस सत्र के लिए। एक बार जब इतिहास एक आकार सीमा से पार हो जाता है, तो पुराने टर्न्स का संक्षेपण करना उस खर्च को समतल रखता है।

दूसरा एजेंट लूप है। LangGraph में, एक प्रीबिल्ट एजेंट एक ही llm ऑब्जेक्ट और टूल्स की एक सूची लेता है और तब तक लूप करता है जब तक मॉडल टूल्स का अनुरोध करना बंद नहीं कर देता। एक अधिकतम स्टेप्स की संख्या सेट करें ताकि एक भ्रमित लूप इनपुट टोकन बढ़ा न सके। किसी भी कॉल के लिए X-Request-Id रिस्पॉन्स हेडर को लॉग करें जो अजीब व्यवहार करता है, क्योंकि यह सपोर्ट से संपर्क करने पर उद्धृत करने के लिए पहचानकर्ता है।

त्रुटि निवारण

  • हर कॉल पर 404। बेस URL को /v1 पर समाप्त होना चाहिए और /chat/completions शामिल नहीं होना चाहिए।
  • मॉडल नहीं मिला। uncensored का सटीक उपयोग करें। LangChain कस्टम एंडपॉइंट के लिए मॉडल नामों की जाँच नहीं करता है।
  • टोकन गणना चेतावनियाँ। कुछ LangChain फीचर्स टोकन का अनुमान OpenAI टोकनाइज़र के साथ लगाते हैं। गणनाएँ असल मॉडल से थोड़ी भिन्न हो सकती हैं, इसलिए API द्वारा लौटाए गए उपयोग पर भरोसा करें।
  • लंबे एजेंट लूप महंगे हो सकते हैं। हर लूप पूरे इतिहास को फिर से भेजता है। अगली कॉल से पहले पुराने टूल आउटपुट को ट्रिम करें।

यदि आपकी चेन सही दिखती है और फिर भी फेल होती है, तो एक LangChain समस्या को अकाउंट समस्या से अलग करने के लिए सादे curl के साथ एंडपॉइंट को कॉल करें।

प्रश्न और उत्तर

मैं एक OpenAI-कम्पैटिबल एंडपॉइंट के लिए कौन सी LangChain क्लास उपयोग करूं?

langchain-openai पैकेज से ChatOpenAI, base_url, api_key और मॉडल सेट के साथ।

क्या इस API के साथ फ़ंक्शन कॉलिंग काम करती है?

हाँ। यह टूल्स, tool_choice, स्ट्रीम किए गए tool_calls और tool role के साथ वापस भेजे गए परिणामों का समर्थन करता है।

क्या मैं इस एंडपॉइंट के साथ LangChain एम्बेडिंग्स का उपयोग कर सकता हूँ?

नहीं। सेवा में एम्बेडिंग एंडपॉइंट नहीं है। उस चरण के लिए किसी अन्य एम्बेडिंग प्रदाता या स्थानीय मॉडल का उपयोग करें।

बैच जॉब्स में 429 त्रुटियों से बचने के लिए मैं क्या करूँ?

पूर्ण कुंजी पर max_concurrency को 8 से नीचे, या ट्रायल कुंजी पर 2 से नीचे सेट करें, और कुछ स्वचालित पुन: प्रयासों की अनुमति दें।

आपकी कुंजी बस एक फॉर्म भरने की दूरी पर है

एक खाता बनाएँ, कुंजी कॉपी करें, बेस URL बदलें। सेटअप यही है।

API कुंजी पाएँ

https://api.uncensoredllmhub.com/v1