KO ▾

무료 체험 크레딧으로 시작

이메일과 비밀번호만 입력하면 키가 바로 화면에 표시됩니다.

https://api.uncensoredllmhub.com/v1

Ollama API 대체: 호스팅 엔드포인트 사용 시기

앱이 단일 머신의 한계를 넘을 때 Ollama API 대체제가 적합합니다. 더 많은 동시 사용자, 긴 프롬프트 또는 계속 실행하기 아까운 노트북이 해당됩니다. 이 글은 로컬 Ollama와 호스팅 OpenAI 호환 엔드포인트를 비교하고 전환에 필요한 작은 코드 변경을 보여줍니다.

업데이트

Ollama에서 호스팅 API로의 이동을 보여주는 호스팅 서버에 연결된 로컬 컴퓨터
서버 랙과 동전이 있는 저울이 빛나는 클라우드 옆에 있으며 셀프 호스팅과 API를 비교합니다

주요 포인트

  • Ollama는 프라이빗, 오프라인 및 단일 사용자 작업에 탁월하며, 호스팅 엔드포인트는 동시성과 항상 켜진 접근성이 필요할 때 승리합니다.
  • 대부분의 앱에서 전환은 두 줄로 가능합니다: Base URL과 모델 ID.
  • 이 서비스는 100,000개의 토큰 컨텍스트 창, 전체 API 키당 8개의 동시 요청 및 사용량 기반 요금제를 제공합니다.
  • 실험에는 Ollama를 유지하고 프로덕션 트래픽에는 호스팅 API를 사용하세요. 많은 팀이 둘 다 사용합니다.

간단한 답변: 누구에게 전환이 적합한가

혼자 작업하거나 모든 것을 오프라인으로 원하거나 직접 가중치를 선택하고 교체하는 것을 선호한다면 Ollama를 유지하세요. 실행 비용이 무료이며 구조적으로 프라이빗하며, /v1의 OpenAI 호환 모드를 통해 쉽게 빌드할 수 있습니다.

다음 중 하나라도 해당되면 Ollama API 대체제를 고려하세요: 여러 사람이나 프로세스가 동시에 모델을 호출할 때, 컴퓨터가 절전 모드일 때도 서비스가 필요할 때, 프롬프트가 길고 GPU 메모리가 부족할 때, 또는 제품 개발보다 서버 관리에 더 많은 시간을 보낼 때. 호스팅 엔드포인트는 모델을 URL과 키로 변환합니다. 가중치에 대한 제어권을 포기하는 대신 관리할 하드웨어가 없어집니다.

이 사이트는 그러한 엔드포인트 중 하나입니다: 콘텐츠 거부 없이 답변하도록 조정된 하나의 오픈 웨이트 모델을 실행하는 OpenAI 호환 텍스트 API로, 합법적인 성인 사용에 적합합니다. 어떤 모델 벤더의 공식 API도 아닙니다. 자세한 내용은 문서에서 확인하세요.

로컬 Ollama와 호스팅 엔드포인트 비교

주제로컬 Ollama호스팅 엔드포인트
비용 모델자신의 하드웨어 및 전력입력 토큰 100만 개당 $0.15, 출력 토큰 100만 개당 $0.50
동시 요청GPU 및 병렬 슬롯 설정에 의해 제한됨전체 키 기준 동시 8개 요청
컨텍스트모델별로 설정; VRAM에 의해 제한됨100,000 토큰, 프롬프트 및 완성 포함
가용성컴퓨터가 가동 중인 동안HTTPS를 통해 항상 접근 가능
개인정보데이터는 머신에서 절대 나가지 않습니다프롬프트는 학습에 사용되지 않음
모델 선택VRAM/메모리에 맞게 다운로드하고 로드할 수 있는 모든 모델모델 1개, ID uncensored
설정설치, 가중치 풀링, 튜닝키 생성, Base URL 설정

프라이버시 측면에서 마지막 행의 진실성이 중요합니다. 로컬 환경이 그 부분에서 더 강력합니다. 문서가 네트워크를 절대 벗어나서는 안 된다면 로컬에서 실행하세요. 프롬프트가 누군가의 학습 데이터로 사용되지 않기를 원한다면, 그렇게 명시하는 호스팅 서비스는 많은 프로젝트에서 허용됩니다.

동시성 및 가동 시간

Ollama는 병렬 요청을 처리할 수 있지만 처리량은 GPU에 의해 제한됩니다. 여러 호출이 겹치면 각 호출의 속도가 느려지고, 모델 스왑이 필요한 요청은 대기열을 지연시킬 수 있습니다. 단일 개발자에게는 이는 거의 문제가 되지 않지만, 20개의 채팅이 열린 봇에게는 문제가 됩니다.

여기서 전체 키당 8개의 동시 요청과 분당 300개의 요청을 얻습니다. 시험용 키는 2개와 60개를 제공합니다. 초과 시 API는 HTTP 429를 반환합니다. 오류 코드 rate_limited은 분당 요청이 너무 많음을, concurrency은 동시 요청이 너무 많음을 의미하며, Retry-After: 5 헤더는 일시적인 과부하를 나타냅니다. 클라이언트는 기다렸다가 재시도해야 합니다. 스트리밍 요청은 스트림이 끝날 때까지 슬롯을 유지하므로, 더 이상 읽지 않는 스트림은 닫아야 합니다.

이 서비스에 대한 가동 시간 백분율을 인용하지 않습니다. 가동 시간이 필수 요구사항이라면 시험 기간 동안 자체 트래픽으로 테스트하고 대체 수단을 유지하세요.

컨텍스트 길이 및 메모리

컨텍스트는 로컬 설정이 압박을 느끼는 부분입니다. 키-값 캐시는 모든 토큰에 따라 증가하므로 긴 프롬프트는 GPU 메모리를 두고 모델 가중치와 경쟁합니다. Ollama는 모델별 컨텍스트를 늘릴 수 있지만, 소비자용 GPU에서 더 큰 컨텍스트 창은 더 작거나 양자화 수준이 높은 모델을 의미할 수 있습니다.

여기서 컨텍스트 창은 100,000개의 토큰이며 완료는 남은 부분을 모두 사용할 수 있으므로 max_tokens은 선택 사항입니다. 이는 긴 문서와 긴 답변, 또는 수시간 동안 이어지는 역할극 이력에 충분합니다. 큰 입력에는 비용이 따르며 정확히 계산할 수 있습니다: 60,000개의 토큰 프롬프트는 60,000 / 1,000,000 x $0.15 = $0.009가 들며, 2,000개의 토큰 답변은 2,000 / 1,000,000 x $0.50 = $0.001이 듭니다. 긴 문서 호출 한 번은 약 1센트에 도달합니다.

코드에서 변경되는 사항

이미 OpenAI 호환 엔드포인트를 통해 Ollama를 호출한다면 Base URL, 키 및 모델 이름만 변경하면 됩니다. 나머지는 없습니다.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

스트리밍도 동일하게 작동합니다. 이 Node 예제는 공식 OpenAI 패키지를 사용합니다.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Ollama의 네이티브 /api/chat 라우트를 사용한 적이 있다면, 필드 이름 변경을 주로 포함하는 채팅 완료 형식으로 작은 수정이 필요합니다. 도구 호출(tools, tool_choice), JSON 모드(response_format) 및 샘플링 매개변수가 지원됩니다. 사용 가능한 엔드포인트는 POST /v1/chat/completions, POST /v1/responses 및 GET /v1/models입니다. 임베딩 엔드포인트가 없으므로, 앱에서 Ollama를 임베딩에 사용하는 경우 해당 부분은 로컬로 유지하세요.

비용: 호스팅이 더 저렴해지는 시점

로컬 환경은 무료가 아닙니다. 중간 크기 모델을 실행하는 GPU는 구매 비용이 들고 전력을 소비하며 요청 사이에는 유휴 상태입니다. 호스팅 API는 토큰에만 요금이 부과되므로, 낮고 변동성이 큰 사용량이라면 호스팅이 훨씬 유리합니다.

계산 예시: 월 5,000개의 요청을 처리하는 채팅 앱, 각 요청은 3,000개의 입력 토큰과 400개의 출력 토큰을 가집니다. 입력: 5,000 x 3,000 = 15,000,000 토큰, 또는 15 x $0.15 = $2.25. 출력: 5,000 x 400 = 2,000,000 토큰, 또는 2 x $0.50 = $1.00. 월 청구액은 $3.25입니다. 지속적인 많은 트래픽은 수학을 바꾸며, 연중무휴로 실행되는 이미 소유한 GPU는 승리할 수 있습니다. 자신의 전기 요금 및 하드웨어 수치와 비교하고 결정하기 전에 다른 제공업체의 현재 가격을 확인하세요.

크레딧은 선불이며, 만료되지 않으며, 실패하거나 거부된 요청에는 요금이 부과되지 않습니다. 충전은 $20부터 $500까지이며 보너스는 $50부터 시작하며, 암호화폐로 결제할 수 있습니다. 자세한 내용은 요금제를 참조하세요.

현명한 하이브리드 및 시작 방법

하나만 선택할 필요가 없습니다. Ollama에서 비공개 실험을 개발하고 실행한 후, 환경 변수를 변경하여 프로덕션 트래픽을 호스팅 URL로 보낼 수 있습니다. LLM 직접 호스팅 가이드에는 자체 호스팅 설정에 필요한 내용이 나열되어 있으며, 무검열 Ollama 모델에서는 오프라인 상태를 선호할 경우 로컬 옵션을 다룹니다.

엔드포인트를 시도하려면 API 키 페이지에서 계정을 생성하고 한 번의 클릭으로 $0.50 무료 체험 크레딧을 청구하세요. 카드가 필요 없으며, 7일 동안 유효하고 사람당 하나만 제한됩니다. 설정을 변경하기 전에 실제 프롬프트로 테스트하세요.

질문과 답변

호스팅 API는 Ollama의 OpenAI 엔드포인트와 호환되나요?

둘 다 OpenAI 채팅 완료 형식을 따르므로, Ollama의 /v1 엔드포인트에 맞춰 작성된 코드는 일반적으로 새 기본 URL, API 키 및 모델 ID만 변경하면 됩니다.

Ollama 네이티브 API를 이 서비스에 사용할 수 있나요?

아니요. OpenAI 스타일 엔드포인트를 사용하세요: /v1/chat/completions, /v1/responses 및 /v1/models.

원하는 모델을 직접 실행할 수 있나요?

아니요. 이 서비스는 uncensored ID로 선택된 단일 오픈 웨이트 모델만 실행합니다. 직접 가중치를 선택해야 한다면 Ollama를 계속 사용하세요.

임베딩을 지원하나요?

아니요. 텍스트 생성 전용이므로, 필요할 경우 로컬 또는 별도 임베딩 모델을 유지하세요.

키는 양식 하나만 작성하면 받을 수 있습니다

계정을 생성하고 키를 복사한 후 기본 URL을 변경하세요. 설정은 이것으로 끝입니다.

API 키 받기

https://api.uncensoredllmhub.com/v1