JA ▾

無料トライアルクレジットで始める

メールアドレスとパスワードだけで、キーがすぐ画面に表示されます。

https://api.uncensoredllmhub.com/v1

LangChain 対応 LLM API:カスタムエンドポイントに接続

LLM API の LangChain 設定には、ChatOpenAI、base URL、キー、モデル ID が必要です。このページでは、OpenAI 互換エンドポイントに対するチェーン、ストリーミング、関数呼び出し、構造化出力のコードを示します。

更新日:

LangChain チェーンがカスタム LLM エンドポイントを呼び出す様子を示す、サーバーキューブに接続されたガラスチェーンリンク
サーバーラックとバランススケール、光るクラウドの隣にコインを置き、セルフホスティングとAPIを比較

主要ポイント

  • ChatOpenAI は base_url、api_key、model を受け取るため、任意の OpenAI 互換エンドポイントが動作します。
  • base URL に https://api.uncensoredllmhub.com/v1 を、モデルに uncensored を使用します。
  • 関数呼び出しをサポートしています。構造化出力には JSON モードが最も安全な方法です。
  • 制限を尊重してください:完全キーでは同時リクエストが 8 件なので、バッチの同時実行数を制限してください。

インストールと接続

LangChain の OpenAI 統合はコアライブラリとは別のパッケージです。pip install langchain-openai でインストールしてください。API キーページからキーを取得します。新規ユーザーはカード不要でワンクリックで $0.50 の無料トライアルクレジットを取得できます。

次にモデルオブジェクトを作成します。重要なのは 3 つの引数です:model、base_url、api_key。

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    model="uncensored",
    base_url="https://api.uncensoredllmhub.com/v1",
    api_key="YOUR_KEY",
    temperature=0.7,
)

print(llm.invoke("Give me three names for a lighthouse cat.").content)

これで統合は完了です。プロンプト、パーサー、エージェント、リトリーバーなど、その後の処理は llm を通常のチャットモデルとして扱います。環境変数を好む場合は、OpenAI SDK は OPENAI_API_KEY と OPENAI_BASE_URL を読み取るため、コードを変更せずに環境を切り替えることができます。

エンドポイントのサポート内容

サービスは POST /v1/chat/completions、POST /v1/responses、GET /v1/models を公開しています。ChatOpenAI はデフォルトでチャット完了を使用し、これは安全な選択です。このモデルは、法的な成人利用においてコンテンツ拒否なしで回答するよう調整されたオープンウェイトモデルで、プロンプトと完了を合わせた 100,000 トークンのコンテキストウィンドウを共有します。

LangChain が依存するサポートされるリクエスト機能:SSE によるストリーミング(末尾に使用量)、関数呼び出し、JSON モード、およびサンプリングパラメータ temperature、top_p、stop、seed、ペナルティ。利用不可:埋め込み、画像生成、音声生成、ファインチューニング。リトリーバルチェーンに埋め込みが必要な場合は、そのステップに別の埋め込みモデルを使用し、このエンドポイントを生成に使用してください。パラメータの詳細は ドキュメント を参照してください。

プロンプト、モデル、パーサー

基本的な LCEL パターンは、プロンプトをモデルに通し、その後出力パーサーに通します。ストリーミングは .stream() で追加設定不要で利用可能です。

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a concise editor. Reply in {tone} tone."),
    ("human", "Improve this sentence: {text}"),
])

chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))

for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
    print(piece, end="", flush=True)

システムメッセージはすべての呼び出しの動作を設定します。コンテキストウィンドウが広いため、多くの場合、スプリッターなしでプロンプトテンプレートを通じて長い参照テキストを入力できます。入力は 1M トークンあたり $0.15 なので、プロンプト内の 20,000 トークンのドキュメントは、1 呼び出しあたり 20,000 / 1,000,000 x $0.15 = $0.003 かかります。

関数呼び出し

ツール呼び出しは OpenAI フォーマットに従います:関数定義を渡し、モデルは tool_calls で返信します。関数を実行し、ツールロールのメッセージとして結果を返します。LangChain はこれを bind_tools でラップします。

from langchain_core.tools import tool
from langchain_openai import ChatOpenAI

@tool
def add(a: int, b: int) -> int:
    """Add two integers."""
    return a + b

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])

msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
    print(call["name"], call["args"])   # run the function yourself, then send a ToolMessage back

モデルが呼び出しを要求し、あなたのコードがそれを実行します。LangGraph などのエージェントフレームワークでは、モデルがプレーンテキストで回答するまでループがこれを処理します。ツール説明は短く、引数名は簡潔にしてください。モデルがツールを無視する場合は、docstring を厳密にして tool_choice を設定し、デバッグ中に呼び出しを強制してください。

JSON モードによる構造化出力

エンドポイントは JSON モードをサポートしています:response_format: {"type":"json_object"}。LangChain では with_structured_output を通じて指定し、JSON モードメソッドを選択してから Pydantic モデルで検証します。

from pydantic import BaseModel
from langchain_openai import ChatOpenAI

class Ticket(BaseModel):
    title: str
    priority: str

llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")

print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))

JSON を確実にするための 2 つの習慣があります。第一に、JSON モードは有効な構文を保証しますがスキーマは保証しないため、プロンプトで「JSON」と明記し、キーの名前を指定してください。第二に、バリデーションエラーをキャッチし、エラーテキストをモデルに 1 回だけ再送信するリトライで呼び出しをラップしてください。このエンドポイントでテストしていない限り、スキーマ制約付きデコーディングに依存しないでください。

同時実行数、リトライ、コスト制御

LangChain は .batch() で並列呼び出しを容易にしますが、ここで制限が効いてきます。完全キーは同時リクエスト 8 件、1 分あたり 300 件まで許可します。トライアルキーは 2 件、60 件までです。batch に config={"max_concurrency": 6} を渡して、上限を下回るようにしてください。

制限を超えると、API は HTTP 429 を返し、コードは rate_limited または concurrency、一時的な過負荷時には Retry-After: 5 ヘッダーを返します。ChatOpenAI にはバックオフ機構でこれらを処理する max_retries 引数があり、3 から 5 に設定してください。ストリームは完了するまでスロットを占有するため、読み込み途中のストリームをオープンにしないでください。

コスト計算の例:2,000 件のアイテム、各 800 入力トークン、150 出力トークンのバッチジョブ。入力:2,000 x 800 = 1,600,000 トークン = 1.6 x $0.15 = $0.24。出力:2,000 x 150 = 300,000 トークン = 0.3 x $0.50 = $0.15。ジョブのコストは $0.39 です。失敗または拒否されたリクエストは課金されず、X-Balance-USD ヘッダーで残高を確認できます。チャージについては 料金ページ を参照してください。チャージは $20 から $500 で、暗号資産で支払えます。

エージェントと会話メモリ

最初のチェーンが動作した後に頻出する 2 つのパターンがあります。1 つ目は会話メモリです。LangChain のメッセージ履歴ヘルパーは過去のターンを保存し、各呼び出しの先頭に追加します。ウィンドウは 100,000 トークンなので長い履歴を保持できますが、各ターンでそれらが再送信されることに注意してください。50 ターンで各 30,000 トークンの履歴は、1,500,000 入力トークン、つまりセッションで 1.5 x $0.15 = $0.225 かかります。履歴がサイズ制限を超えた時点で古いターンを要約すると、コストを一定に保てます。

2 つ目はエージェントループです。LangGraph では、ビルトインエージェントが同じ llm オブジェクトとツールのリストを受け取り、モデルがツールを要求しなくなるまでループします。ステップの最大数を設定して、ループが混乱して入力トークンを消費しすぎないようにしてください。support に連絡する際に引用する識別子となるため、奇妙な動作をする呼び出しには X-Request-Id 応答ヘッダーをログに記録してください。

トラブルシューティング

  • すべての呼び出しで 404。 base URL は /v1 で終わる必要があり、/chat/completions を含めてはいけません。
  • モデルが見つかりません。 uncensored を正確に使用してください。LangChain はカスタムエンドポイントのモデル名を検証しません。
  • トークンカウントの警告。 一部の LangChain 機能は OpenAI トークナイザーを使用してトークンを推定します。カウントは実際のモデルとわずかに異なる可能性があるため、API が返す使用量に依存してください。
  • 長いエージェントループは高コストになります。 各ループで履歴全体が再送信されます。次の呼び出しの前に古いツール出力を切り捨ててください。

チェーンは正しく見えるがまだ失敗する場合は、単純な curl でエンドポイントを呼び出し、LangChain の問題かアカウントの問題かを分離してください。

質問と回答

OpenAI 互換エンドポイントにはどの LangChain クラスを使いますか?

langchain-openai パッケージの ChatOpenAI を使用し、base_url、api_key、model を設定します。

この API で関数呼び出しは利用できますか?

はい。ツール、tool_choice、ストリーミングされた tool_calls、およびツールロールで返される結果をサポートしています。

このエンドポイントでLangChainの埋め込みを使用できますか?

いいえ。このサービスには埋め込みエンドポイントがありません。そのステップには別の埋め込みプロバイダまたはローカルモデルを使用してください。

バッチ処理で429エラーを回避するには?

完全キーでは max_concurrency を 8 未満に、トライアルキーでは 2 未満に設定し、自動リトライを許可してください。

キーはフォーム 1 つで手に入ります

アカウントを作成し、キーをコピーし、ベースURLを変更します。これでセットアップは完了です。

API キーを取得

https://api.uncensoredllmhub.com/v1