TH ▾

เริ่มต้นด้วยเครดิตทดลองใช้

อีเมลและรหัสผ่าน คีย์แสดงบนหน้าจอทันที

https://api.uncensoredllmhub.com/v1

LLM API กับ LangChain: เชื่อมต่อเอนด์พอยต์ที่กำหนดเอง

สำหรับการตั้งค่า LangChain กับ LLM API คุณต้องการเพียง ChatOpenAI, URL ฐาน, คีย์ และรหัสโมเดล หน้าเว็บนี้แสดงโซ่ การสตรีมมิง การเรียกใช้เครื่องมือ และผลลัพธ์ที่มีโครงสร้างกับจุดปลายที่เข้ากันได้กับ OpenAI พร้อมโค้ดให้คัดลอก

อัปเดต

ลิงก์ glass chain เชื่อมต่อกับกล่องเซิร์ฟเวอร์ แสดงภาพ LangChain chains ที่เรียกใช้ LLM endpoint ที่กำหนดเอง
แร็คเซิร์ฟเวอร์และตาชั่งที่มีเหรียญอยู่ข้างเมฆเรืองแสง เปรียบเทียบการโฮสต์เองกับ API

ประเด็นสำคัญ

  • ChatOpenAI รับ base_url, api_key และ model ดังนั้นจุดปลายที่เข้ากันได้กับ OpenAI จึงใช้งานได้
  • ใช้ base URL https://api.uncensoredllmhub.com/v1 และโมเดล uncensored
  • รองรับ tool calling; สำหรับ structured output โหมด JSON เป็นวิธีที่ปลอดภัยที่สุด
  • เคารพขีดจำกัด: คำขอพร้อมกัน 8 คำขอต่อคีย์เต็ม ดังนั้นให้จำกัด batch concurrency

ติดตั้งและเชื่อมต่อ

การผสานรวม OpenAI ของ LangChain เป็นแพ็กเกจแยกจากไลบรารีหลัก ติดตั้งด้วย pip install langchain-openai รับคีย์จาก หน้า API key; ผู้ใช้ใหม่สามารถขอเครดิตทดลองใช้ $0.50 ได้ด้วยคลิกเดียว ไม่ต้องใช้บัตร

จากนั้นสร้างวัตถุโมเดล มีสามอาร์กิวเมนต์สำคัญ: model, base_url และ api_key

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

นี่คือการผสานรวมทั้งหมด ส่วนต่อท้ายอย่างเช่น พรอมต์ ตัวแยกวิเคราะห์ เอเจนต์ และตัวดึงข้อมูล จะใช้ llm เหมือนกับโมเดลแชทอื่นๆ หากคุณชอบใช้ตัวแปรสภาพแวดล้อม SDK ของ OpenAI จะอ่านค่า OPENAI_API_KEY และ OPENAI_BASE_URL ซึ่งทำให้สลับระหว่างสภาพแวดล้อมได้ง่ายโดยไม่ต้องแก้ไขโค้ด

สิ่งที่ endpoint รองรับ

บริการเปิดเผย POST /v1/chat/completions, POST /v1/responses และ GET /v1/models ChatOpenAI ใช้ chat completions เป็นค่าเริ่มต้น ซึ่งเป็นตัวเลือกที่ปลอดภัย โมเดลเป็นโมเดลแบบเปิดน้ำหนักที่ปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย พร้อมหน้าต่างบริบทขนาด 100,000 โทเคนที่ใช้ร่วมกันระหว่างพรอมต์และการสร้างผลลัพธ์

ฟีเจอร์คำขอที่รองรับซึ่ง LangChain ใช้: สตรีมมิงผ่าน SSE พร้อม usage ที่ส่วนท้าย, function calling, โหมด JSON และพารามิเตอร์การสุ่มตัวอย่าง temperature, top_p, stop, seed และค่าปรับต่างๆ ที่ไม่รองรับ: embeddings, การสร้างภาพหรือเสียง, fine-tuning หาก retrieval chain ต้องการ embeddings ให้ใช้โมเดล embedding อื่นสำหรับขั้นตอนนี้และใช้เอนด์พอยต์นี้สำหรับการสร้างข้อความ บันทึกพารามิเตอร์เต็มรูปแบบอยู่ใน เอกสาร

พรอมต์ โมเดล และตัวแยกวิเคราะห์

รูปแบบพื้นฐานของ LCEL จะส่งพรอมต์เข้าโมเดล แล้วส่งไปยังตัวแยกวิเคราะห์ผลลัพธ์ การสตรีมมิงมาพร้อมกับการใช้ .stream()

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

ข้อความระบบกำหนดพฤติกรรมสำหรับการเรียกใช้ทุกครั้ง เนื่องจากหน้าต่างบริบทมีขนาดใหญ่ คุณสามารถป้อนข้อความอ้างอิงยาวผ่านพรอมต์เทมเพลตได้โดยไม่ต้องใช้ตัวแบ่งข้อความในหลายกรณี ค่าอินพุตคือ $0.15 ต่อ 1M โทเคน ดังนั้นเอกสารขนาด 20,000 โทเคนในพรอมต์จะมีค่าใช้จ่าย 20,000 / 1,000,000 x $0.15 = $0.003 ต่อการเรียกใช้

การเรียกใช้ฟังก์ชัน

การเรียกใช้ฟังก์ชันปฏิบัติตามรูปแบบของ OpenAI: คุณส่งคำจำกัดความของฟังก์ชัน โมเดลจะตอบกลับด้วย tool_calls คุณเรียกใช้ฟังก์ชันและส่งผลลัพธ์กลับเป็นข้อความที่มีบทบาท tool LangChain ห่อหุ้มสิ่งนี้ไว้ใน bind_tools

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

โมเดลจะร้องขอการเรียกใช้; โค้ดของคุณจะดำเนินการ ในเฟรมเวิร์ก agent เช่น LangGraph ลูปจะดำเนินการนี้ให้คุณจนกว่าโมเดลจะตอบเป็นข้อความธรรมดา ให้คำอธิบายฟังก์ชันสั้นๆ และชื่ออาร์กิวเมนต์เรียบง่าย หากโมเดลเพิกเฉยต่อฟังก์ชัน ให้ปรับ docstring ให้แคบลงและตั้งค่า tool_choice เพื่อบังคับการเรียกใช้ขณะแก้ไขข้อบกพร่อง

ผลลัพธ์ที่มีโครงสร้างด้วยโหมด JSON

เอนด์พอยต์รองรับโหมด JSON, response_format: {"type":"json_object"} ใน LangChain ให้ขอผ่าน with_structured_output และเลือกวิธีการโหมด JSON จากนั้นตรวจสอบด้วยโมเดล Pydantic

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

สองนิสัยทำให้ JSON น่าเชื่อถือ ประการแรก ให้ระบุ "JSON" และตั้งชื่อคีย์ในพรอมต์ เนื่องจากโหมด JSON รับประกันไวยากรณ์ที่ถูกต้องแต่ไม่รับประกันสคีมาของคุณ ประการที่สอง ให้ห่อการเรียกด้วยรีไทร์ที่ดักจับข้อผิดพลาดจากการตรวจสอบและส่งข้อความข้อผิดพลาดกลับไปยังโมเดลหนึ่งครั้ง อย่าพึ่งพาการถอดรหัสที่จำกัดด้วยสคีมาเว้นแต่คุณจะได้ทดสอบกับเอนด์พอยต์นี้แล้ว

ความพร้อมใช้งานพร้อมกัน การรีไทร์ และการควบคุมต้นทุน

LangChain ทำให้การเรียกแบบขนานทำได้ง่ายด้วย .batch() และนั่นคือจุดที่ขีดจำกัดมีผล คีย์แบบเต็มอนุญาตให้คำขอพร้อมกัน 8 รายการและ 300 รายการต่อนาที คีย์ทดลองอนุญาตให้ 2 และ 60 ส่ง config={"max_concurrency": 6} ไปยัง batch เพื่อให้คุณอยู่ภายใต้ขีดจำกัด

เมื่อเกินขีดจำกัด API จะส่ง HTTP 429 พร้อมโค้ด rate_limited หรือ concurrency และส่วนหัว Retry-After: 5 เมื่อโหลดเกินชั่วคราว ChatOpenAI มีอาร์กิวเมนต์ max_retries ที่จัดการสิ่งเหล่านี้ด้วยการถอยหลัง; ตั้งค่าเป็น 3 ถึง 5 สตรีมจะครอบครองช่องจนกว่าจะเสร็จสิ้น ดังนั้นอย่าปล่อยสตรีมที่อ่านไม่ครบให้เปิดอยู่

ตัวอย่างการคำนวณต้นทุน: งานแบทช์ของรายการ 2,000 รายการ แต่ละรายการมีโทเคนอินพุต 800 และโทเคนเอาต์พุต 150 อินพุต: 2,000 x 800 = 1,600,000 โทเคน = 1.6 x $0.15 = $0.24 เอาต์พุต: 2,000 x 150 = 300,000 โทเคน = 0.3 x $0.50 = $0.15 งานนี้มีค่าใช้จ่าย $0.39 คำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน และส่วนหัว X-Balance-USD ช่วยให้คุณติดตามยอดคงเหลือของคุณ ดู ราคา สำหรับการเติมเงิน ซึ่งเริ่มต้นที่ $20 ถึง $500 และสามารถชำระด้วยคริปโต

เอเจนต์และหน่วยความจำการสนทนา

มีสองรูปแบบที่ปรากฏขึ้นทันทีหลังจากที่ chain แรกทำงานได้สำเร็จ รูปแบบแรกคือความจำการสนทนา ตัวช่วยประวัติข้อความของ LangChain จะเก็บการสนทนาในอดีตและเพิ่มไว้ข้างหน้าของการเรียกใช้ทุกครั้ง เนื่องจากหน้าต่างมีขนาด 100,000 โทเคน คุณสามารถเก็บประวัติที่ยาวได้ แต่โปรดจำไว้ว่าการสนทนาแต่ละครั้งจะส่งประวัติทั้งหมดอีกครั้ง ประวัติความยาว 30,000 โทเคนบนการสนทนา 50 ครั้งหมายถึง 1,500,000 โทเคนอินพุต หรือ 1.5 x $0.15 = $0.225 สำหรับเซสชัน การสรุปการสนทนาเก่าเมื่อประวัติเกินขีดจำกัดขนาดจะช่วยให้ค่าใช้จ่ายคงที่

รูปแบบที่สองคือลูปเอเจนต์ ใน LangGraph เอเจนต์ที่สร้างไว้ล่วงหน้าจะรับออบเจกต์ llm เดียวกันพร้อมกับรายการเครื่องมือและทำซ้ำจนกว่าโมเดลจะหยุดขอเครื่องมือ ตั้งจำนวนขั้นตอนสูงสุดเพื่อให้ลูปที่สับสนไม่สามารถเพิ่มโทเคนอินพุตได้ บันทึกส่วนหัวตอบกลับ X-Request-Id สำหรับการเรียกใดๆ ที่ทำงานผิดปกติ เนื่องจากเป็นรหัสที่ต้องอ้างอิงหากคุณติดต่อ ฝ่ายสนับสนุน

การแก้ไขปัญหา

  • 404 ทุกการเรียก Base URL ต้องลงท้ายด้วย /v1 และต้องไม่รวม /chat/completions
  • ไม่พบโมเดล ใช้ uncensored ให้ถูกต้อง LangChain ไม่ตรวจสอบชื่อโมเดลสำหรับเอนด์พอยต์ที่กำหนดเอง
  • คำเตือนการนับโทเคน คุณสมบัติ LangChain บางรายการประมาณการโทเคนด้วยโทเคนไนเซอร์ของ OpenAI จำนวนอาจแตกต่างจากโมเดลจริงเล็กน้อย ดังนั้นให้พึ่งพาข้อมูลการใช้งานที่ส่งโดย API
  • ลูปเอเจนต์ที่ยาวมีค่าใช้จ่ายสูง แต่ละลูปจะส่งประวัติทั้งหมดใหม่ ตัดเอาต์พุตเครื่องมือเก่าออกก่อนจะถึงคำขอถัดไป

หากเชนของคุณดูถูกต้องแต่ยังล้มเหลว ให้เรียกเอนด์พอยต์ด้วย curl ธรรมดาเพื่อแยกปัญหา LangChain ออกจากปัญหาบัญชี

ถาม-ตอบ

ฉันควรใช้คลาส LangChain ใดสำหรับเอนด์พอยต์ที่เข้ากันได้กับ OpenAI?

ChatOpenAI จากแพ็กเกจ langchain-openai โดยตั้งค่า base_url, api_key และ model

การเรียกใช้ฟังก์ชันทำงานกับ API นี้ได้หรือไม่

ใช่ รองรับเครื่องมือ การเลือกเครื่องมือ การเรียกใช้เครื่องมือแบบสตรีมมิง และผลลัพธ์ที่ส่งกลับด้วยบทบาทเครื่องมือ

ฉันสามารถใช้การฝังคำของ LangChain กับเอนด์พอยต์นี้ได้หรือไม่?

ไม่ได้ บริการไม่มีเอนด์พอยต์สำหรับการฝังคำ ใช้ผู้ให้บริการการฝังคำอื่นหรือโมเดลในเครื่องสำหรับขั้นตอนนี้

ฉันจะหลีกเลี่ยงข้อผิดพลาด 429 ในงานแบบกลุ่มได้อย่างไร

ตั้งค่า max_concurrency ต่ำกว่า 8 สำหรับคีย์เต็ม หรือต่ำกว่า 2 สำหรับคีย์ทดลอง และอนุญาตให้มีการลองใหม่โดยอัตโนมัติหลายครั้ง

เพียงกรอกแบบฟอร์มก็รับคีย์ได้

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน URL พื้นฐาน นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API

https://api.uncensoredllmhub.com/v1