Poin utama
- ChatOpenAI mengambil base_url, api_key, dan model, sehingga endpoint apa pun yang kompatibel dengan OpenAI berfungsi.
- Gunakan Base URL https://api.uncensoredllmhub.com/v1 dan model uncensored.
- Pemanggilan alat didukung; untuk output terstruktur, mode JSON adalah metode yang paling aman.
- Hormati batas: 8 permintaan paralel pada kunci penuh, jadi batasi konkurensi batch Anda.
Instal dan sambungkan
Integrasi OpenAI LangChain adalah paket terpisah dari pustaka inti. Instal dengan pip install langchain-openai. Dapatkan kunci dari halaman kunci API; pengguna baru dapat mengklaim $0,50 kredit uji coba gratis di sana dengan satu klik, tanpa kartu.
Kemudian buat objek model. Tiga argumen penting: model, base_url, dan api_key.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a lighthouse cat.").content)Itulah seluruh integrasinya. Semua yang di bawahnya, seperti prompt, parser, agen, dan pengambil data, memperlakukan llm seperti model obrolan lainnya. Jika Anda lebih suka variabel lingkungan, SDK OpenAI membaca OPENAI_API_KEY dan OPENAI_BASE_URL, yang memudahkan Anda beralih antar lingkungan tanpa menyentuh kode.
Apa yang didukung endpoint
Layanan ini mengekspos POST /v1/chat/completions, POST /v1/responses dan GET /v1/models. ChatOpenAI menggunakan penyelesaian obrolan secara default, yang merupakan pilihan aman. Modelnya adalah satu model bobot terbuka yang disesuaikan untuk menjawab tanpa penolakan konten untuk penggunaan dewasa yang sah, dengan jendela konteks 100.000 token yang dibagi oleh prompt dan penyelesaian.
Fitur permintaan yang didukung yang diandalkan LangChain: streaming melalui SSE dengan penggunaan di akhir, pemanggilan alat, mode JSON, dan parameter sampling temperature, top_p, stop, seed dan penalti. Tidak tersedia: embedding, pembuatan gambar atau audio, fine-tuning. Jika rantai pengambilan membutuhkan embedding, gunakan model embedding lain untuk langkah itu dan gunakan endpoint ini untuk pembuatan. Catatan parameter lengkap ada di dokumentasi.
Prompt, model, dan parser
Pola LCEL dasar mengalirkan prompt ke model dan kemudian ke parser output. Streaming gratis dengan .stream().
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You are a concise editor. Reply in {tone} tone."),
("human", "Improve this sentence: {text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))
for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
print(piece, end="", flush=True)Pesan sistem menetapkan perilaku untuk setiap panggilan. Karena jendela konteksnya besar, Anda juga dapat memasukkan teks referensi panjang melalui template prompt tanpa pemisah dalam banyak kasus. Biaya input $0,15 per 1M token, sehingga dokumen 20.000 token dalam prompt berharga 20.000 / 1.000.000 x $0,15 = $0,003 per panggilan.
Pemanggilan alat
Pemanggilan alat mengikuti format OpenAI: Anda meneruskan definisi fungsi, model membalas dengan tool_calls, Anda menjalankan fungsi dan mengembalikan hasilnya sebagai pesan dengan peran alat. LangChain membungkus ini dalam bind_tools.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def add(a: int, b: int) -> int:
"""Add two integers."""
return a + b
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])
msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
print(call["name"], call["args"]) # run the function yourself, then send a ToolMessage backModel meminta panggilan; kode Anda menjalankannya. Dalam kerangka agen seperti LangGraph, sebuah loop melakukan ini untuk Anda hingga model menjawab dalam teks biasa. Pertahankan deskripsi fungsi singkat dan nama argumen sederhana. Jika model mengabaikan alat, perketat docstring dan atur tool_choice untuk memaksa panggilan saat Anda debug.
Output terstruktur dengan mode JSON
Endpoint mendukung mode JSON, response_format: {"type":"json_object"}. Di LangChain, minta melalui with_structured_output dan pilih metode mode JSON, lalu validasi dengan model Pydantic.
from pydantic import BaseModel
from langchain_openai import ChatOpenAI
class Ticket(BaseModel):
title: str
priority: str
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")
print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))Dua kebiasaan membuat JSON andal. Pertama, sebutkan "JSON" dan beri nama kunci dalam prompt, karena mode JSON menjamin sintaksis valid tetapi tidak skema Anda. Kedua, bungkus panggilan dalam percobaan ulang yang menangkap kesalahan validasi dan mengirimkan teks kesalahan kembali ke model sekali. Jangan bergantung pada decoding yang dibatasi skema kecuali Anda telah mengujinya dengan endpoint ini.
Konkurensi, percobaan ulang, dan pengendalian biaya
LangChain membuat panggilan paralel mudah dengan .batch(), dan di situlah batasnya terasa. Kunci penuh mengizinkan 8 permintaan paralel dan 300 per menit. Kunci uji coba mengizinkan 2 dan 60. Teruskan config={"max_concurrency": 6} ke batch agar Anda tetap di bawah batas.
Ketika batas terlampaui, API mengembalikan HTTP 429 dengan kode rate_limited atau concurrency, dan header Retry-After: 5 saat kelebihan beban sementara. ChatOpenAI memiliki argumen max_retries yang menangani ini dengan backoff; atur ke 3 hingga 5. Stream menempati slot hingga selesai, jadi jangan biarkan stream setengah dibaca tetap terbuka.
Contoh perhitungan biaya: pekerjaan batch 2.000 item, masing-masing dengan 800 token input dan 150 token output. Input: 2.000 x 800 = 1.600.000 token = 1,6 x $0,15 = $0,24. Output: 2.000 x 150 = 300.000 token = 0,3 x $0,50 = $0,15. Pekerjaan berharga $0,39. Permintaan yang gagal atau ditolak tidak dibebankan, dan header X-Balance-USD memungkinkan Anda memantau saldo Anda. Lihat harga untuk isi saldo, yang dimulai dari $20 hingga $500 dan dapat dibayar dengan kripto.
Agen dan memori percakapan
Dua pola muncul tepat setelah rantai pertama berhasil. Yang pertama adalah memori percakapan. Bantuan riwayat pesan LangChain menyimpan giliran sebelumnya dan menambahkannya di awal setiap panggilan. Karena jendela konteksnya adalah 100.000 token, Anda dapat menyimpan riwayat panjang, tetapi ingat bahwa setiap giliran mengirimkannya kembali. Riwayat 30.000 token pada setiap dari 50 giliran berarti 1.500.000 token input, atau 1,5 x $0,15 = $0,225 untuk sesi tersebut. Meringkas giliran lama setelah riwayat melewati batas ukuran menjaga biaya tetap stabil.
Yang kedua adalah loop agen. Dalam LangGraph, agen siap pakai mengambil objek llm yang sama ditambah daftar alat dan loop hingga model berhenti meminta alat. Tetapkan jumlah langkah maksimum agar loop yang bingung tidak dapat meningkatkan token input. Log header respons X-Request-Id untuk panggilan apa pun yang berperilaku aneh, karena itu adalah pengenal yang dikutip jika Anda menghubungi dukungan.
Pemecahan Masalah
- 404 pada setiap panggilan. URL dasar harus berakhir dengan
/v1dan tidak boleh menyertakan/chat/completions. - Model tidak ditemukan. Gunakan
uncensoredsecara tepat. LangChain tidak memvalidasi nama model untuk endpoint kustom. - Peringatan penghitungan token. Beberapa fitur LangChain memperkirakan token dengan tokenizer OpenAI. Perhitungannya dapat berbeda sedikit dari model asli, jadi andalkan penggunaan yang dikembalikan oleh API.
- Loop agen panjang menjadi mahal. Setiap loop mengirim ulang riwayat lengkap. Potong output alat lama sebelum mencapai panggilan berikutnya.
Jika rantai Anda terlihat benar dan masih gagal, panggil endpoint dengan curl biasa untuk memisahkan masalah LangChain dari masalah akun.

