TR ▾

Deneme kredisiyle başlayın

E-posta ve parola, anahtar hemen ekranda.

https://api.uncensoredllmhub.com/v1

LangChain ile LLM API: Özel Uç Nokta Bağlayın

LLM API LangChain kurulumu için yalnızca ChatOpenAI, bir base URL, bir anahtar ve bir model ID'sine ihtiyacınız vardır. Bu sayfa, kopyalayabileceğiniz kodla birlikte bu OpenAI uyumlu uç noktada zincirler, akış, fonksiyon çağırma ve yapılandırılmış çıktı gösterir.

güncellendi

Bir sunucu küpüne bağlanan cam zincir bağlantıları, LangChain zincirlerinin özel bir LLM uç noktasını çağırdığını gösterir
Kendi kendine barındırma ile bir API'yi karşılaştıran, paraların yanında parlayan bir bulutun yanında sunucu rafı ve bir bakiye terazisi

Temel noktalar

  • ChatOpenAI base_url, api_key ve model alır, bu nedenle herhangi bir OpenAI uyumlu uç nokta çalışır.
  • https://api.uncensoredllmhub.com/v1 base URL'sini ve uncensored modelini kullanın.
  • Fonksiyon çağırma desteklenir; yapılandırılmış çıktı için JSON modu en güvenli yöntemdir.
  • Sınırlara saygı gösterin: tam anahtar için 8 eşzamanlı istek, bu nedenle toplu eşzamanlılığı sınırlandırın.

Kurulum ve bağlantı

LangChain'in OpenAI entegrasyonu, çekirdek kütüphaneden ayrı bir pakettir. pip install langchain-openai ile yükleyin. API anahtarı sayfasından bir anahtar alın; yeni kullanıcılar tek tıkla, kart gerekmeden orada $0,50 deneme kredisi talep edebilir.

Ardından model nesnesini oluşturun. Üç argüman önemlidir: model, base_url ve api_key.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

Bu tüm entegrasyondur. Aşağıdaki her şey, örneğin istemler, ayrıştırıcılar, ajanlar ve geri getirenler, llm'i diğer tüm sohbet modelleri gibi işler. Ortam değişkenlerini tercih ediyorsanız, OpenAI SDK OPENAI_API_KEY ve OPENAI_BASE_URL'i okur; bu da kodu dokunmadan ortamlar arasında geçişi kolaylaştırır.

Uç noktanın destekledikleri

Servis POST /v1/chat/completions, POST /v1/responses ve GET /v1/models'i açığa çıkarır. ChatOpenAI varsayılan olarak sohbet tamamlamalarını kullanır, bu güvenli bir seçenektir. Model, yasal yetişkin kullanım için içerik reddi olmadan cevap vermeye ayarlanmış bir açık ağırlıklı modeldir ve 100,000 token'lık bağlam penceresi istem ve tamamlama tarafından paylaşılır.

LangChain'in desteklediği istek özellikleri: kullanım bilgisiyle birlikte SSE üzerinden akış, fonksiyon çağırma, JSON modu ve örneklem parametreleri temperature, top_p, stop, seed ve cezalar. Kullanılamayanlar: gömme vektörler, görsel veya ses üretimi, ince ayar. Bir bilgi getirme (retrieval) zinciri gömme vektörleri gerektiriyorsa, bu adım için farklı bir gömme modeli kullanın ve bu uç noktasını üretim için kullanmaya devam edin. Tüm parametre notları dokümantasyonda yer alır.

Bir istem, bir model ve bir ayrıştırıcı

Temel LCEL deseni bir istemi modele ve ardından bir çıktı ayrıştırıcısına borular. Akış, .stream() ile ücretsiz gelir.

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

Sistem mesajı her çağrı için davranışı belirler. Bağlam penceresi büyük olduğu için, çoğu durumda uzun referans metni bir splitter olmadan istem şablonu üzerinden de besleyebilirsiniz. Giriş maliyeti 1M token başına $0,15'tir, bu nedenle istekteki 20.000 token'lık bir belge, çağrı başına 20.000 / 1.000.000 x $0,15 = $0,003 maliyetindedir.

Araç çağırma

Fonksiyon çağırma OpenAI formatını izler: fonksiyon tanımlarını iletirsiniz, model tool_calls ile yanıt verir, fonksiyonu çalıştırırsınız ve sonucu tool rolü ile bir mesaj olarak döndürürsünüz. LangChain bunu bind_tools içinde sarar.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

Model çağrıyı ister; kodunuz bunu çalıştırır. LangGraph gibi bir ajan çerçevesinde, bir döngü model düz metinle cevaplayana kadar bunu sizin için yapar. Araç açıklamalarını kısa tutun ve argüman adlarını basit tutun. Model bir aracı yok sayarsa, docstring'i sıkılaştırın ve hata ayıklarken çağrıyı zorlamak için tool_choice'u ayarlayın.

JSON modu ile yapılandırılmış çıktı

Uç nokta JSON modunu destekler, response_format: {"type":"json_object"}. LangChain'de with_structured_output üzerinden isteyin ve JSON modu yöntemini seçin, ardından bir Pydantic modeli ile doğrulayın.

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

İki alışkanlık JSON'u güvenilir kılar. Birincisi, JSON modu geçerli sözdizimini garanti eder ancak şemanızı değil, bu nedenle istemde "JSON" deyin ve anahtarları adlandırın. İkincisi, doğrulama hatalarını yakalayan ve hatayı modele bir kez geri gönderen bir yeniden deneme ile çağrıyı sarın. Bu uç nokta ile test etmediyseniz, şema kısıtlı kodlamaya güvenmeyin.

Eşzamanlılık, yeniden denemeler ve maliyet kontrolü

LangChain, .batch() ile paralel çağrıları kolaylaştırır ve sınırlar burada devreye girer. Tam bir anahtar 8 eşzamanlı istek ve dakika başına 300'e izin verir. Bir deneme anahtarı 2 ve 60'a izin verir. Kapın altında kalmak için config={"max_concurrency": 6}'i batch'e geçirin.

Limit aşıldığında API, geçici aşırı yüklenmede HTTP 429 döndürür, rate_limited veya concurrency koduyla birlikte Retry-After: 5 başlığını gönderir. ChatOpenAI, bu durumları geri çekilmeyle yöneten max_retries argümanına sahiptir; bunu 3 ila 5 olarak ayarlayın. Akışlar, tamamlanana kadar bir slot işgal eder, bu nedenle yarı okunmuş akışları açık bırakmayın.

Maliyet hesabı örneği: her biri 800 giriş token'ı ve 150 çıktı token'ı içeren 2,000 öğelik bir toplu iş. Giriş: 2,000 x 800 = 1,600,000 token = 1.6 x $0.15 = $0.24. Çıktı: 2,000 x 150 = 300,000 token = 0.3 x $0.50 = $0.15. İş $0.39'a mal olur. Başarısız veya reddedilen istekler için ücret alınmaz ve X-Balance-USD başlığı bakiyenizi izlemenizi sağlar. Bakiye yüklemeleri için fiyatlandırma sayfasına bakın; $20 ile $500 arasında değişir ve kripto ile ödenebilir.

Ajanlar ve konuşma geçmişi

İlk zincir çalıştıktan sonra hemen iki desen ortaya çıkar. Birincisi konuşma geçmişi. LangChain'in mesaj geçmişi yardımcıları geçmiş turları saklar ve her çağrıya önceden ekler. Pencere 100.000 token olduğu için uzun geçmişleri tutabilirsiniz, ancak her turun onları yeniden gönderdiğini unutmayın. 50 turda her biri için 30.000 token'lık bir geçmiş, 1.500.000 giriş token'ı veya oturum için 1.5 x $0,15 = $0,225 anlamına gelir. Geçmiş bir boyut sınırını aştığında eski turları özetlemek, bunu düz tutar.

İkincisi ajan döngüsüdür. LangGraph'de, önceden yapılmış bir ajan, aynı llm nesnesini ve bir araç listesini alır ve model araçları istemeyene kadar döngüye girer. Bir karışık döngünün giriş token'larını artıramaması için maksimum adım sayısını ayarlayın. Anormal davranan herhangi bir çağrı için X-Request-Id yanıt başlığını günlüğe kaydedin, çünkü bu, destek'e başvurduğunuzda alıntılanacak tanımlayıcıdır.

Sorun Giderme

  • Her çağrıda 404. Base URL, /v1 ile bitmelidir ve /chat/completions içermemelidir.
  • Model bulunamadı. Tam olarak uncensored kullanın. LangChain, özel uç noktalar için model adlarını doğrulamaz.
  • Token sayma uyarıları. Bazı LangChain özellikleri tokenları OpenAI tokenizers ile tahmin eder. Sayılar gerçek modelden biraz farklı olabilir, bu nedenle API tarafından döndürülen usage'a güvenin.
  • Uzun ajan döngüleri pahalı hale gelir. Her döngü tam geçmişi yeniden gönderir. Bir sonraki çağrıya ulaşmadan önce eski araç çıktısını kısaltın.

Zinciriniz doğru görünüyor ve yine de başarısız olursa, bir LangChain sorununu bir hesap sorunundan ayırmak için uç noktayı düz curl ile çağırın.

Sorular ve cevaplar

OpenAI uyumlu bir uç nokta için hangi LangChain sınıfını kullanmalıyım?

langchain-openai paketinden ChatOpenAI, base_url, api_key ve model ayarlanmış olarak.

Bu API ile fonksiyon çağırma çalışıyor mu?

Evet. Araçları, tool_choice, akışlı tool_calls ve tool rolü ile döndürülen sonuçları destekler.

Bu uç nokta ile LangChain embeddings kullanabilir miyim?

Hayır. Serviste embedding uç noktası yok. Bu adım için başka bir embedding sağlayıcısı veya yerel model kullanın.

Toplu işlerde 429 hatalarından nasıl kaçınırım?

Tam anahtar için 8'in altında, deneme anahtarı için 2'nin altında max_concurrency ayarlayın ve birkaç otomatik yeniden denemeye izin verin.

Anahtarınız tek bir formun uzağında

Bir hesap oluşturun, anahtarı kopyalayın ve base URL'yi değiştirin. Kurulum bu kadar basit.

API anahtarı al

https://api.uncensoredllmhub.com/v1