주요 포인트
- 모델 가중치는 16비트 기준 파라미터당 약 2바이트, 8비트 기준 1바이트, 4비트 기준 0.5바이트가 필요하며 컨텍스트 캐시를 위한 공간도 필요합니다.
- 임대된 GPU는 가동된 모든 시간당 과금되는 반면 API는 주고받는 토큰에만 과금합니다.
- 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50으로 하루 20,000채팅(입력 1,500, 출력 500)은 월 $285가 듭니다.
- 파인튜닝, 다른 모델, 오프라인 사용 또는 안정적이고 매우 높은 사용량이 필요할 때 셀프 호스팅이 우위를 점합니다.
간단한 답변: 사용량에 따라 다릅니다
LLM 가중치를 직접 호스팅하는 방법을 묻는다면 정직한 요약은 자체 머신에서 모델을 응답하게 만드는 것은 쉽지만 다른 사람들을 위해 저렴하게 실행하는 것은 어렵다는 것입니다. 노트북이나 데스크톱 GPU는 개인 사용에 충분합니다. 여러 사용자가 동시에, 언제든지 응답해야 하는 서비스는 더 많은 메모리, 더 많은 튜닝 및 지속적인 관리가 필요합니다.
대안은 호스팅된 OpenAI 호환 엔드포인트를 호출하고 토큰당 요금을 지불하는 것입니다. 소규모 및 중규모 워크로드의 경우 유휴 GPU 시간 비용을 지불하지 않으므로 거의 항상 더 저렴합니다. 매우 크고 안정적인 워크로드나 자체 파인튜닝된 모델이 필요한 작업의 경우 하드웨어를 소유하는 것이 합리적입니다. 아래 섹션에서는 양쪽의 수치를 제시하여 자체 손익 분기점을 찾을 수 있도록 합니다.
여기에는 무료 티어가 없습니다. 등록 후 API 키 페이지에서 한 번만 사용할 수 있는 $0.50의 무료 체험 크레딧을 받을 수 있으며, 이후 $20부터 선불 크레딧을 충전할 수 있습니다. 이 체험 크레딧으로 결정하기 전에 실제 프롬프트로 테스트를 진행하기에 충분합니다.
모델 호스팅에 실제로 필요한 것
언어 모델은 모델이 실행되는 동안 빠른 메모리에 위치해야 하는 큰 숫자 파일인 가중치입니다. 해당 파일의 크기가 첫 번째 제약 사항이며 파라미터 수에 파라미터당 바이트 수를 곱하여 직접 계산할 수 있습니다.
| 모델 크기 | 16비트 가중치 | 8비트 가중치 | 4비트 가중치 |
|---|---|---|---|
| 8B 파라미터 | 16GB | 8GB | 4GB |
| 32B 파라미터 | 64GB | 32GB | 16GB |
| 70B 파라미터 | 140GB | 70GB | 35GB |
이것은 가중치만 포함합니다. 그 위에 키-값 캐시를 위한 메모리가 필요하며 이는 활성 대화의 길이에 따라 증가합니다. 런타임을 위한 여유 공간도 필요합니다. 명목상 24GB에 맞는 모델이라도 긴 컨텍스트나 여러 사용자가 동시에 접근하면 메모리가 부족할 수 있습니다. 4비트로 양자화하면 파일 크기가 줄어드는 반면 출력 품질이 약간 달라지며 그 효과는 모델마다 다릅니다.
그다음은 소프트웨어 측면입니다. llama.cpp, Ollama 또는 vLLM과 같은 추론 서버, 앱이 호출할 수 있는 HTTP 레이어, 충돌 시 재시작하는 방법, 충돌 발생 시 알 수 있는 모니터링이 필요합니다. 이것들은 각각 어렵지 않습니다. 모두 시간이 걸리며 그 시간이 비용의 일부입니다.
옵션 1: 자체 컴퓨터에서 실행
시작하는 가장 저렴한 방법은 이미 보유한 머신입니다. Ollama 및 llama.cpp와 같은 도구는 모델을 다운로드하고 로컬 서버를 제공하며 그중 많은 것이 OpenAI 스타일 엔드포인트를 제공하므로 작성한 코드는 두 가지 설정을 변경하여 호스팅된 API를 가리킬 수 있습니다.
로컬 호스팅이 적합한 경우:
- 한 사람이 실험 중이며 답변당 몇 초면 충분할 때;
- 데이터는 절대 머신을 떠나서는 안 됩니다;
- 여러 다른 오픈 모델을 빠르게 시도하고 싶을 때;
- 메모리가 충분한 GPU가 있고 하루 대부분 유휴 상태일 때.
다른 사람을 서비스해야 할 때, 원하는 모델이 메모리보다 클 때 또는 긴 컨텍스트가 필요할 때는 적합하지 않습니다. 로컬 무검열 모델과 호스팅된 API에 대한 자체 비교는 작은 로컬 모델과 큰 호스팅 모델 간 답변 품질의 변화 포함 더 많은 트레이드오프를 자세히 다룹니다.
전기 요금은 단일 사용자에게는 실제이지만 작은 항목입니다. 더 큰 비용은 사용 여부와 관계없이 지불하는 하드웨어 구매 비용입니다. 이미 보유하고 있다면 한계 비용은 낮으며 사적 실험에는 로컬 호스팅을 능가하기 어렵습니다.
옵션 2: GPU 서버 임대
자체 머신이 충분하지 않을 때 다음 단계는 임대된 GPU입니다. 제공업체는 주어진 양의 GPU 메모리를 가진 머신에 대해 시간당 요금을 청구합니다. 가격은 제공업체 간에 크게 다르며 자주 변경되므로 기사(이 기사 포함)에서 읽은 숫자를 신뢰하기보다 현재 가격을 확인하십시오.
중요한 것은 청구서의 형태입니다. 임대 서버는 요청이 있든 없든 실행 중인 모든 시간에 대해 요금이 부과됩니다. 한 달 내내 켜두면 계산은 간단합니다. 한 달은 약 730시간이며(1년 8,760시간을 12로 나눈 값), 가정의 예시이며 견적이 아님을 알리지만 적합한 서버의 시간당 요금이 $1이라고 가정해 봅시다. 이를 하루 종일 실행하면 저장소, 대역폭 및 자체 시간을 추가하기 전에도 월 $730이 발생합니다.
사용하지 않을 때 서버를 끌 수 있지만, 그러면 지연 시간으로 지불해야 합니다. 큰 모델을 메모리에 로드하는 데 시간이 걸리며, 일시 중단 후 첫 번째 사용자는 로딩을 기다려야 합니다. 자동 확장 설정은 이를 줄여주지만 자체적인 복잡성을 추가합니다.
API와의 분기점은 가격에서 나옵니다. 입력 토큰 1백만 개와 출력 토큰 1백만 개는 이 API에서 $0.15 + $0.50 = $0.65가 듭니다. 가정된 $730 서버는 730 ÷ 0.65 ≈ 1,123쌍에 해당하며 월 약 11억 개의 입력 토큰과 11억 개의 출력 토큰입니다. 그 이하 사용량에서는 API 비용이 더 적게 듭니다. 그 이상에서는 잘 활용된 서버가 이길 수 있지만 그 트래픽을 실제로 처리할 수 있어야 하며 이는 모델, GPU 및 서버 튜닝 방법에 따라 다릅니다.
옵션 3: 호스팅된 API 사용
API 경로는 하드웨어, 서버 및 유휴 시간을 제거합니다. 요청을 보내고 답변을 받으며 사용된 토큰에 대해 지불합니다. 가격은 입력 토큰 1M당 $0.15, 출력 토큰 1M당 $0.50이며 선불 크레딧에서 사용한 만큼 지불하고 구독은 없습니다. 크레딧은 만료되지 않으며 실패하거나 거부된 요청에는 요금이 청구되지 않습니다.
이것이 세 가지 현실적인 사용량에서 어떻게 보이는지입니다. 일반적인 채팅 턴은 1,500 입력 토큰(시스템 프롬프트 및 이력)과 500 출력 토큰을 사용하는 것으로 가정합니다.
- 하나의 요청: 1,500 입력 토큰은 0.0015 × $0.15 = $0.000225가 들고 500 출력 토큰은 0.0005 × $0.50 = $0.00025가 듭니다. 합계는 $0.000475입니다.
- 하루 1,000채팅, 30일: 1,000 × $0.000475 = 하루 $0.475 또는 월 $14.25입니다.
- 하루 20,000채팅, 30일: 20,000 × $0.000475 = 하루 $9.50 또는 월 $285입니다.
- 100,000 요청의 배치 작업 각 요청당 입력 2,000 및 출력 400 토큰: 입력은 200M 토큰이므로 200 × $0.15 = $30; 출력은 40M 토큰이므로 40 × $0.50 = $20입니다. 총합은 $50입니다.
중간 수치에서 API 비용은 월 $285로, 상시 가동 서버의 가정된 비용 $730보다 훨씬 낮습니다. 최대 수치에서는 임대 서버와 경쟁하려면 훨씬 더 많은 트래픽이 필요합니다. 실제 수치는 자체 프롬프트가 결정하므로 샘플을 측정하여 확인해 보세요. 모든 응답과 함께 반환되는 사용량 블록은 정확한 토큰 수를 알려줍니다.
$0.50의 무료 체험 크레딧은 입력 1,500 토큰, 출력 500 토큰 크기의 요청 약 1,052건을 처리할 수 있습니다(0.50 ÷ 0.000475 ≈ 1,052). 이는 테스트하기에 충분합니다. 이후 $20부터 $500까지 정수 금액으로 충전할 수 있습니다. 더 큰 충전에는 보너스가 제공됩니다: $50부터 +5%, $100부터 +10%, $200부터 +15%. 따라서 $100 충전 시 $110의 크레딧이 제공됩니다. 자세한 내용은 가격 책정 페이지에서 확인하세요. 결제는 카드(Visa, Mastercard, Apple Pay, Google Pay) 또는 암호화폐(TRC20의 USDT, Base의 USDC)로 가능합니다.
호스팅하지 않음으로써 포기하는 것
API는 상충 관계(trade-offs)가 없는 것이 아니며, 이를 기반으로 구축하기 전에 이러한 상충 관계를 아는 것이 더 좋습니다.
- 하나의 모델.
uncensored로 호출되는 단일 오픈 웨이트 모델을 제공합니다. 다른 모델로 교체하거나 자체 가중치를 로드할 수 없습니다. - 파인튜닝 없음, 텍스트 전용. 학습용 엔드포인트, 임베딩, 이미지/오디오/비디오 생성 기능이 없습니다.
- 제한 사항. 전체 키는 동시 요청 8개 및 분당 요청 300개를 허용합니다. 체험 키는 각각 2개 및 60개를 허용합니다. 이는 대부분의 앱에 적합하지만 매우 큰 배치의 경우 자체 큐잉이 필요합니다.
- 컨텍스트 창. 컨텍스트 창은 프롬프트와 생성 텍스트를 합쳐 100,000 토큰입니다.
- 데이터가 네트워크를 벗어납니다. 프롬프트는 학습에 사용되지 않지만 제3자에게 전송됩니다. 특정 데이터셋에 대해 이것이 허용되지 않으면 로컬로 호스팅하십시오.
자체 데이터에 대한 파인튜닝, API가 제공하지 않는 특정 모델, 완전한 오프라인 작동 또는 하드웨어가 하루 종일 바쁘게 유지할 만큼 충분히 큰 안정적인 사용량 중 하나가 필수 요구 사항인 경우 셀프 호스팅이 더 나은 선택입니다.
하드웨어 구매 전에 API를 사용해 보세요
1시간 테스트 비용은 대부분의 임대 서버 시간당 비용보다 저렴하며, 모델이 프롬프트에 잘 응답하는지 여부를 알려줍니다. 엔드포인트는 OpenAI와 호환되므로 로컬 서버와 통신하는 코드가 이미 있다면 Base URL, 키 및 모델 ID만 변경하면 됩니다. 이 스크립트는 응답의 사용량 수치를 사용하여 각 호출의 비용을 보고합니다:
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)
u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")실제 프롬프트 수십 개로 테스트하고 비용 행을 합산한 후 예상 일일 사용량으로 곱하세요. 그러면 하드웨어 견적 옆에 놓을 수 있는 수치가 나옵니다. 설정 세부 정보가 필요하면 문서에서 스트리밍, 함수 호출 및 JSON 모드를 포함한 지원 매개변수 목록을 확인하세요.
