ID ▾

Mulai dengan kredit uji coba

Email dan kata sandi, kunci langsung tampil di layar.

https://api.uncensoredllmhub.com/v1

API LLM dengan LangChain: Sambungkan Endpoint Kustom

Untuk pengaturan API LLM LangChain, Anda hanya perlu ChatOpenAI, URL dasar, kunci, dan ID model. Halaman ini menampilkan rantai, streaming, pemanggilan alat, dan output terstruktur terhadap endpoint yang kompatibel dengan OpenAI ini, dengan kode yang dapat Anda salin.

Diperbarui

Tautan rantai kaca yang terhubung ke kubus server, mengilustrasikan rantai LangChain memanggil endpoint LLM kustom
Rak server dan timbangan keseimbangan dengan koin di samping awan yang bersinar, membandingkan self-hosting dengan API

Poin utama

  • ChatOpenAI mengambil base_url, api_key, dan model, sehingga endpoint apa pun yang kompatibel dengan OpenAI berfungsi.
  • Gunakan Base URL https://api.uncensoredllmhub.com/v1 dan model uncensored.
  • Pemanggilan alat didukung; untuk output terstruktur, mode JSON adalah metode yang paling aman.
  • Hormati batas: 8 permintaan paralel pada kunci penuh, jadi batasi konkurensi batch Anda.

Instal dan sambungkan

Integrasi OpenAI LangChain adalah paket terpisah dari pustaka inti. Instal dengan pip install langchain-openai. Dapatkan kunci dari halaman kunci API; pengguna baru dapat mengklaim $0,50 kredit uji coba gratis di sana dengan satu klik, tanpa kartu.

Kemudian buat objek model. Tiga argumen penting: model, base_url, dan api_key.

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

Itulah seluruh integrasinya. Semua yang di bawahnya, seperti prompt, parser, agen, dan pengambil data, memperlakukan llm seperti model obrolan lainnya. Jika Anda lebih suka variabel lingkungan, SDK OpenAI membaca OPENAI_API_KEY dan OPENAI_BASE_URL, yang memudahkan Anda beralih antar lingkungan tanpa menyentuh kode.

Apa yang didukung endpoint

Layanan ini mengekspos POST /v1/chat/completions, POST /v1/responses dan GET /v1/models. ChatOpenAI menggunakan penyelesaian obrolan secara default, yang merupakan pilihan aman. Modelnya adalah satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dengan jendela konteks 100.000 token yang dibagi oleh prompt dan penyelesaian.

Fitur permintaan yang didukung yang diandalkan LangChain: streaming melalui SSE dengan penggunaan di akhir, pemanggilan alat, mode JSON, dan parameter sampling temperature, top_p, stop, seed dan penalti. Tidak tersedia: embedding, pembuatan gambar atau audio, fine-tuning. Jika rantai pengambilan membutuhkan embedding, gunakan model embedding lain untuk langkah itu dan gunakan endpoint ini untuk pembuatan. Catatan parameter lengkap ada di dokumentasi.

Prompt, model, dan parser

Pola LCEL dasar mengalirkan prompt ke model dan kemudian ke parser output. Streaming gratis dengan .stream().

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

Pesan sistem menetapkan perilaku untuk setiap panggilan. Karena jendela konteksnya besar, Anda juga dapat memasukkan teks referensi panjang melalui template prompt tanpa pemisah dalam banyak kasus. Biaya input $0,15 per 1M token, sehingga dokumen 20.000 token dalam prompt berharga 20.000 / 1.000.000 x $0,15 = $0,003 per panggilan.

Pemanggilan alat

Pemanggilan alat mengikuti format OpenAI: Anda meneruskan definisi fungsi, model membalas dengan tool_calls, Anda menjalankan fungsi dan mengembalikan hasilnya sebagai pesan dengan peran alat. LangChain membungkus ini dalam bind_tools.

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

Model meminta panggilan; kode Anda menjalankannya. Dalam kerangka agen seperti LangGraph, sebuah loop melakukan ini untuk Anda hingga model menjawab dalam teks biasa. Pertahankan deskripsi fungsi singkat dan nama argumen sederhana. Jika model mengabaikan alat, perketat docstring dan atur tool_choice untuk memaksa panggilan saat Anda debug.

Output terstruktur dengan mode JSON

Endpoint mendukung mode JSON, response_format: {"type":"json_object"}. Di LangChain, minta melalui with_structured_output dan pilih metode mode JSON, lalu validasi dengan model Pydantic.

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

Dua kebiasaan membuat JSON andal. Pertama, sebutkan "JSON" dan beri nama kunci dalam prompt, karena mode JSON menjamin sintaksis valid tetapi tidak skema Anda. Kedua, bungkus panggilan dalam percobaan ulang yang menangkap kesalahan validasi dan mengirimkan teks kesalahan kembali ke model sekali. Jangan bergantung pada decoding yang dibatasi skema kecuali Anda telah mengujinya dengan endpoint ini.

Konkurensi, percobaan ulang, dan pengendalian biaya

LangChain membuat panggilan paralel mudah dengan .batch(), dan di situlah batasnya terasa. Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 dan 60. Teruskan config={"max_concurrency": 6} ke batch agar Anda tetap di bawah batas.

Ketika batas terlampaui, API mengembalikan HTTP 429 dengan kode rate_limited atau concurrency, dan header Retry-After: 5 saat kelebihan beban sementara. ChatOpenAI memiliki argumen max_retries yang menangani ini dengan backoff; atur ke 3 hingga 5. Stream menempati slot hingga selesai, jadi jangan biarkan stream setengah dibaca tetap terbuka.

Contoh perhitungan biaya: pekerjaan batch 2.000 item, masing-masing dengan 800 token input dan 150 token output. Input: 2.000 x 800 = 1.600.000 token = 1,6 x $0,15 = $0,24. Output: 2.000 x 150 = 300.000 token = 0,3 x $0,50 = $0,15. Pekerjaan berharga $0,39. Permintaan yang gagal atau ditolak tidak dibebankan, dan header X-Balance-USD memungkinkan Anda memantau saldo Anda. Lihat harga untuk isi saldo, yang dimulai dari $20 hingga $500 dan dapat dibayar dengan kripto.

Agen dan memori percakapan

Dua pola muncul tepat setelah rantai pertama berhasil. Yang pertama adalah memori percakapan. Bantuan riwayat pesan LangChain menyimpan giliran sebelumnya dan menambahkannya di awal setiap panggilan. Karena jendela konteksnya adalah 100.000 token, Anda dapat menyimpan riwayat panjang, tetapi ingat bahwa setiap giliran mengirimkannya kembali. Riwayat 30.000 token pada setiap dari 50 giliran berarti 1.500.000 token input, atau 1,5 x $0,15 = $0,225 untuk sesi tersebut. Meringkas giliran lama setelah riwayat melewati batas ukuran menjaga biaya tetap stabil.

Yang kedua adalah loop agen. Dalam LangGraph, agen siap pakai mengambil objek llm yang sama ditambah daftar alat dan loop hingga model berhenti meminta alat. Tetapkan jumlah langkah maksimum agar loop yang bingung tidak dapat meningkatkan token input. Log header respons X-Request-Id untuk panggilan apa pun yang berperilaku aneh, karena itu adalah pengenal yang dikutip jika Anda menghubungi dukungan.

Pemecahan Masalah

  • 404 pada setiap panggilan. URL dasar harus berakhir dengan /v1 dan tidak boleh menyertakan /chat/completions.
  • Model tidak ditemukan. Gunakan uncensored secara tepat. LangChain tidak memvalidasi nama model untuk endpoint kustom.
  • Peringatan penghitungan token. Beberapa fitur LangChain memperkirakan token dengan tokenizer OpenAI. Perhitungannya dapat berbeda sedikit dari model asli, jadi andalkan penggunaan yang dikembalikan oleh API.
  • Loop agen panjang menjadi mahal. Setiap loop mengirim ulang riwayat lengkap. Potong output alat lama sebelum mencapai panggilan berikutnya.

Jika rantai Anda terlihat benar dan masih gagal, panggil endpoint dengan curl biasa untuk memisahkan masalah LangChain dari masalah akun.

Tanya jawab

Kelas LangChain mana yang saya gunakan untuk endpoint yang kompatibel dengan OpenAI?

ChatOpenAI dari paket langchain-openai, dengan base_url, api_key, dan model yang diatur.

Apakah pemanggilan alat berfungsi dengan API ini?

Ya. Ini mendukung alat, tool_choice, tool_calls yang di-stream, dan hasil yang dikirim kembali dengan peran alat.

Bisakah saya menggunakan embedding LangChain dengan endpoint ini?

Tidak. Layanan ini tidak memiliki endpoint embeddings. Gunakan penyedia embeddings lain atau model lokal untuk langkah itu.

Bagaimana cara menghindari kesalahan 429 dalam pekerjaan batch?

Atur max_concurrency di bawah 8 pada kunci penuh, atau di bawah 2 pada kunci uji coba, dan izinkan beberapa percobaan ulang otomatis.

Kunci Anda hanya selangkah lagi dari satu formulir

Buat akun, salin kunci, ubah URL dasar. Itu saja seluruh proses pengaturannya.

Dapatkan kunci API

https://api.uncensoredllmhub.com/v1