주요 포인트
- ChatOpenAI는 base_url, api_key, model을 받으므로 모든 OpenAI 호환 엔드포인트가 작동합니다.
- 베이스 URL https://api.uncensoredllmhub.com/v1와 모델 uncensored를 사용하세요.
- 함수 호출이 지원되며, 구조화된 출력에는 JSON 모드가 가장 안전한 방법입니다.
- 제한 사항을 준수하세요: 전체 키는 동시 요청 8개를 허용하므로 배치 병렬 처리를 제한하세요.
설치 및 연결
LangChain의 OpenAI 통합은 핵심 라이브러리에서 별도의 패키지입니다. pip install langchain-openai로 설치하세요. API 키 페이지에서 키를 받으세요. 신규 사용자는 카드 없이 한 번의 클릭으로 $0.50의 체험 크레딧을 받을 수 있습니다.
그런 다음 모델 객체를 생성하세요. 중요한 세 가지 인수는 model, base_url, api_key입니다.
from langchain_openai import ChatOpenAI
llm = ChatOpenAI(
model="uncensored",
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_KEY",
temperature=0.7,
)
print(llm.invoke("Give me three names for a lighthouse cat.").content)이제 통합이 완료됩니다. 프롬프트, 파서, 에이전트, 검색기 등 하류의 모든 것은 llm을 다른 채팅 모델처럼 처리합니다. 환경 변수를 선호한다면 OpenAI SDK는 OPENAI_API_KEY과 OPENAI_BASE_URL를 읽으므로 코드를 수정하지 않고도 환경을 전환하기가 쉽습니다.
엔드포인트 지원 기능
서비스는 POST /v1/chat/completions, POST /v1/responses, GET /v1/models을 노출합니다. ChatOpenAI는 기본적으로 채팅 완료를 사용하며 이는 안전한 선택입니다. 이 모델은 합법적인 성인 사용에 콘텐츠 거부 없이 답변하도록 조정된 오픈 웨이트 모델로, 프롬프트와 완성에 공유되는 100,000토큰 컨텍스트 창을 가집니다.
LangChain이 의존하는 지원 요청 기능: 사용량 정보를 끝부분에 포함하는 SSE 기반 스트리밍, 함수 호출, JSON 모드, 그리고 sampling 파라미터인 temperature, top_p, stop, seed 및 페널티입니다. 사용 불가 기능: 임베딩, 이미지 또는 오디오 생성, 파인튜닝. 임베딩이 필요한 검색 체인의 경우, 해당 단계에는 다른 임베딩 모델을 사용하고 생성에는 이 엔드포인트를 유지하세요. 전체 파라미터 설명은 문서를 참조하세요.
프롬프트, 모델 및 파서
기본 LCEL 패턴은 프롬프트를 모델로, 그리고 출력 파서로 연결합니다. 스트리밍은 .stream()로 무료로 제공됩니다.
from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
prompt = ChatPromptTemplate.from_messages([
("system", "You are a concise editor. Reply in {tone} tone."),
("human", "Improve this sentence: {text}"),
])
chain = prompt | llm | StrOutputParser()
print(chain.invoke({"tone": "plain", "text": "The thing was done by the team."}))
for piece in chain.stream({"tone": "friendly", "text": "We regret to inform you of a delay."}):
print(piece, end="", flush=True)시스템 메시지는 모든 호출에 대한 동작을 설정합니다. 컨텍스트 창이 크므로 splitter 없이 프롬프트 템플릿을 통해 긴 참조 텍스트를 제공할 수 있는 경우가 많습니다. 입력 비용은 토큰 100만 개당 $0.15이므로, 프롬프트에 20,000토큰 문서를 넣으면 호출당 비용은 20,000 / 1,000,000 x $0.15 = $0.003입니다.
함수 호출
함수 호출은 OpenAI 형식을 따릅니다: 함수 정의를 전달하면 모델이 tool_calls로 응답합니다. 함수를 실행하고 결과를 tool role 메시지로 반환합니다. LangChain은 이를 bind_tools로 감쌉니다.
from langchain_core.tools import tool
from langchain_openai import ChatOpenAI
@tool
def add(a: int, b: int) -> int:
"""Add two integers."""
return a + b
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
llm_tools = llm.bind_tools([add])
msg = llm_tools.invoke("What is 41 plus 1? Use the tool.")
for call in msg.tool_calls:
print(call["name"], call["args"]) # run the function yourself, then send a ToolMessage back모델이 호출을 요청하면 코드에서 이를 실행합니다. LangGraph와 같은 에이전트 프레임워크에서는 루프가 모델이 일반 텍스트로 응답할 때까지 이를 처리합니다. 도구 설명은 간결하게, 인자 이름은 단순하게 유지하세요. 모델이 도구를 무시하는 경우, 디버깅 중에는 tool_choice를 설정하여 호출을 강제하고 docstring을 간결하게 만드세요.
JSON 모드를 사용한 구조화된 출력
엔드포인트는 JSON 모드를 지원하며 response_format: {"type":"json_object"}입니다. LangChain에서는 with_structured_output을 통해 요청하고 JSON 모드 메서드를 선택한 후 Pydantic 모델로 검증하세요.
from pydantic import BaseModel
from langchain_openai import ChatOpenAI
class Ticket(BaseModel):
title: str
priority: str
llm = ChatOpenAI(model="uncensored", base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
structured = llm.with_structured_output(Ticket, method="json_mode")
print(structured.invoke("Return JSON with title and priority for: login page crashes on Safari, urgent."))JSON의 신뢰성을 높이는 두 가지 습관입니다. 첫째, 프롬프트에 "JSON"이라고 명시하고 키 이름을 지정하세요. JSON 모드는 유효한 구문을 보장하지만 스키마는 보장하지 않기 때문입니다. 둘째, 검증 오류를 감지하고 오류 텍스트를 모델에 한 번만 다시 보내는 재시도 호출로 감싸세요. 이 엔드포인트에서 테스트하지 않았다면 스키마 제한 디코딩에 의존하지 마세요.
병렬 처리, 재시도 및 비용 제어
LangChain은 .batch()로 병렬 호출을 쉽게 처리할 수 있지만, 여기서 제한이 적용됩니다. 전체 키는 8개의 동시 요청과 분당 300개의 요청을 허용합니다. 체험 키는 각각 2개와 60개를 허용합니다. batch에 config={"max_concurrency": 6}를 전달해 제한을 넘지 않도록 하세요.
한도를 초과하면 API는 임시 과부하 시 Retry-After: 5 헤더와 함께 코드 rate_limited 또는 concurrency로 HTTP 429를 반환합니다. ChatOpenAI에는 이러한 상황에 백오프 처리를 위한 max_retries 인자가 있으며, 이를 3에서 5로 설정하세요. 스트림은 완료될 때까지 슬롯을 점유하므로, 반쯤 읽힌 스트림을 열어두지 마세요.
비용 계산 예시: 2,000개 항목 배치 작업, 각 항목은 800개의 입력 토큰과 150개의 출력 토큰을 가집니다. 입력: 2,000 x 800 = 1,600,000 토큰 = 1.6 x $0.15 = $0.24. 출력: 2,000 x 150 = 300,000 토큰 = 0.3 x $0.50 = $0.15. 작업 비용은 $0.39입니다. 실패하거나 거부된 요청에는 요금이 부과되지 않으며, X-Balance-USD 헤더로 잔액을 확인할 수 있습니다. $20부터 $500까지 충전할 수 있으며, 암호화폐로 결제할 수 있습니다. 가격 안내를 참조하세요.
에이전트 및 대화 메모리
첫 번째 체인이 작동한 직후 두 가지 패턴이 나타납니다. 첫 번째는 대화 메모리입니다. LangChain의 메시지 히스토리 도우미는 이전 대화를 저장하고 각 호출 앞에 추가합니다. 컨텍스트 창이 100,000 토큰이므로 긴 히스토리를 유지할 수 있지만, 모든 턴에서 이를 다시 전송한다는 점을 기억하세요. 50번의 턴에서 각기 30,000 토큰의 히스토리를 사용하면 1,500,000개의 입력 토큰이 발생하며, 세션당 비용은 1.5 x $0.15 = $0.225입니다. 히스토리가 크기 제한을 초과하면 이전 턴을 요약해 비용을 일정하게 유지하세요.
두 번째는 에이전트 루프입니다. LangGraph에서 사전 구축된 에이전트는 동일한 llm 객체와 도구 목록을 받아 모델이 더 이상 도구를 요청하지 않을 때까지 루프를 돌립니다. 혼란스러운 루프가 입력 토큰을 과도하게 소모하지 않도록 최대 단계 수를 설정하세요. 이상하게 동작하는 호출에는 X-Request-Id 응답 헤더를 로그에 남기세요. 이는 지원팀에 문의할 때 인용해야 하는 식별자입니다.
문제 해결
- 모든 호출에서 404 오류. 베이스 URL은
/v1로 끝나야 하며/chat/completions을 포함해서는 안 됩니다. - 모델을 찾을 수 없음.
uncensored를 정확히 사용하세요. LangChain은 커스텀 엔드포인트에 대한 모델 이름을 검증하지 않습니다. - 토큰 카운팅 경고. 일부 LangChain 기능은 OpenAI 토큰화 도구로 토큰을 추정합니다. 실제 모델의 토큰 수와 약간 다를 수 있으므로 API에서 반환한 사용량에 의존하세요.
- 긴 에이전트 루프는 비용이 많이 듭니다. 각 루프는 전체 히스토리를 다시 전송합니다. 다음 호출 전에 오래된 도구 출력을 정리하세요.
체인이 올바르게 보이지만 여전히 실패한다면, plain curl로 엔드포인트를 호출해 LangChain 문제인지 계정 문제인지 구분하세요.

