PT ▾

Comece com o crédito de teste

E-mail e senha; a chave aparece na hora na tela.

https://api.uncensoredllmhub.com/v1

Alternativa à API Ollama: quando usar um endpoint hospedado

Uma alternativa à API Ollama faz sentido quando seu aplicativo ultrapassa uma única máquina: mais usuários simultâneos, prompts mais longos ou um laptop que você prefere não deixar ligado. Este artigo compara o Ollama local com um endpoint compatível com OpenAI hospedado e mostra a pequena alteração de código para alternar.

Atualizado

Um computador local conectado a uma torre de servidor hospedado, ilustrando a migração do Ollama para uma API hospedada
Rack de servidor e balança de equilíbrio com moedas ao lado de uma nuvem brilhante, comparando auto-hospedagem com uma API

Pontos principais

  • O Ollama é excelente para trabalho privado, offline e de usuário único; um endpoint hospedado vence quando você precisa de concorrência e acesso sempre disponível.
  • Alternar são duas linhas para a maioria dos apps: URL base e ID do modelo.
  • Este serviço oferece uma janela de 100.000 tokens, 8 requisições simultâneas com uma chave completa e preços de pagamento por uso.
  • Mantenha o Ollama para experimentos e use a API hospedada para tráfego de produção. Muitas equipes usam ambas.

Resposta curta: quem deve migrar

Mantenha o Ollama se você trabalha sozinho, quer tudo offline ou gosta de escolher e trocar pesos você mesmo. É gratuito para executar, privado por construção, e seu modo compatível com OpenAI em /v1 facilita a criação contra ele.

Considere uma alternativa à API Ollama se: várias pessoas ou processos chamarem o modelo ao mesmo tempo, você precisar do serviço ativo enquanto seu computador dorme, seus prompts forem longos e a memória da sua GPU não for suficiente, ou se você gasta mais tempo cuidando do servidor do que construindo o produto. Um endpoint hospedado transforma o modelo em uma URL e uma chave. Você troca o controle sobre os pesos pela ausência de hardware para gerenciar.

Este site é um desses endpoints: uma API de texto compatível com OpenAI que executa um único modelo de pesos abertos ajustado para responder sem recusas de conteúdo para uso adulto legal. Não é uma API oficial de nenhum fornecedor de modelo. Os detalhes estão na documentação.

Ollama local e um endpoint hospedado, lado a lado

AssuntoOllama LocalEndpoint hospedado aqui
Modelo de custoSeu hardware e energia$0,15 por 1M de entrada, $0,50 por 1M de tokens de saída
ConcorrênciaLimitado pela sua GPU e configurações como slots paralelos8 requisições simultâneas com uma chave de acesso completo
ContextoDefinido por modelo; limitado pela VRAM100.000 tokens, prompt mais conclusão
DisponibilidadeEnquanto sua máquina estiver ligadaSempre acessível via HTTPS
PrivacidadeOs dados nunca saem da máquinaOs prompts não são usados para treinamento
Escolha de modeloQualquer modelo que você possa baixar e ajustarUm modelo, ID uncensored
ConfiguraçãoInstalar, baixar pesos, ajustarCriar uma chave, definir URL base

A última linha de privacidade precisa de honestidade. Local é mais forte nisso. Se um documento nunca deve sair da sua rede, execute-o localmente. Se você só precisa que os prompts não alimentem o conjunto de treinamento de alguém, um serviço hospedado que afirma isso é aceitável para muitos projetos.

Concorrência e tempo de atividade

O Ollama pode servir requisições simultâneas, mas o throughput é limitado pela sua GPU. Quando várias chamadas se sobrepõem, cada uma fica mais lenta, e uma solicitação que precisa de troca de modelo pode travar a fila. Para um único desenvolvedor, isso raramente importa. Para um bot com vinte chats abertos, importa.

Com uma chave completa aqui você tem 8 requisições simultâneas e 300 requisições por minuto. Uma chave de teste tem 2 e 60. Ao exceder, a API responde com HTTP 429: o código de erro rate_limited significa muitas por minuto, concurrency significa muitas ao mesmo tempo, e o cabeçalho Retry-After: 5 marca sobrecarga temporária. Seu cliente deve aguardar e tentar novamente. Uma solicitação com streaming mantém sua vaga até o fim do streaming, então feche os fluxos de streaming que você não está mais lendo.

Não cito porcentagens de uptime porque nenhuma foi publicada para este serviço. Se o uptime for um requisito rígido, teste-o com seu próprio tráfego durante o período de teste e mantenha um plano de contingência.

Comprimento de contexto e memória

O contexto é onde as configurações locais sentem a pressão. O cache de chave-valor cresce com cada token, então um prompt longo compete com os pesos do modelo pela memória da GPU. O Ollama permite aumentar o contexto por modelo, mas uma janela maior em uma placa de consumo geralmente significa um modelo menor ou mais quantizado.

Aqui a janela é de 100.000 tokens e a conclusão pode usar o que restar dela, então max_tokens é opcional. Isso é suficiente para um documento longo mais uma resposta longa, ou um histórico de roleplay que dura horas. Entradas grandes têm um custo, que você pode calcular exatamente: um prompt de 60.000 tokens custa 60.000 / 1.000.000 x $0,15 = $0,009, e uma resposta de 2.000 tokens custa 2.000 / 1.000.000 x $0,50 = $0,001. Uma chamada de documento longo custa cerca de um centavo.

O que muda no seu código

Se você já chama o Ollama pela sua rota compatível com OpenAI, altere a URL base, a chave e o nome do modelo. Nada mais.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

O streaming funciona da mesma forma. Este exemplo em Node usa o pacote oficial da OpenAI.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Se você usou as rotas nativas /api/chat do Ollama, precisa de uma pequena reescrita para o formato de completions de chat, principalmente renomeando campos. Chamada de ferramentas (tools, tool_choice), modo JSON (response_format) e os parâmetros de amostragem são suportados. Os endpoints disponíveis são POST /v1/chat/completions, POST /v1/responses e GET /v1/models. Não há endpoint de embeddings, então se seu app usa Ollama para embeddings, mantenha essa parte local.

Custo: quando o hospedado sai mais barato

O local não é gratuito. Uma GPU que executa um modelo de tamanho médio custa dinheiro para comprar, consome energia e fica ociosa entre as solicitações. Uma API hospedada cobra apenas por tokens, então uso baixo e intermitente favorece o hospedado por uma ampla margem.

Um exemplo prático: um app de chat com 5.000 solicitações por mês, cada uma com 3.000 tokens de entrada e 400 tokens de saída. Entrada: 5.000 x 3.000 = 15.000.000 tokens, ou 15 x $0,15 = $2,25. Saída: 5.000 x 400 = 2.000.000 tokens, ou 2 x $0,50 = $1,00. A conta mensal é de $3,25. Tráfego sustentado e intenso altera a matemática, e uma GPU já possuída que roda 24 horas pode vencer. Compare com seus próprios custos de eletricidade e hardware, e verifique os preços atuais de outros provedores antes de decidir.

O crédito é pré-pago, nunca expira, e solicitações falhas ou recusadas não são cobradas. Recargas variam de $20 a $500 com bônus a partir de $50, e você pode pagar por cripto. Veja preços para os detalhes.

Um híbrido sensato e como começar

Você não precisa escolher apenas um. Desenvolva e execute experimentos privados no Ollama, depois direcione o tráfego de produção para a URL hospedada alterando uma variável de ambiente. Nosso guia em hospedando um LLM você mesmo lista o que uma configuração self-hosted envolve, e modelos Ollama uncensored cobre opções locais se você preferir ficar offline.

Para experimentar o endpoint, crie uma conta na página de chave de API e reivindique o crédito de teste de $0,50 com um clique. Não precisa de cartão, dura 7 dias e é limitado a um por pessoa. Execute seus prompts reais nele antes de mover qualquer coisa.

Perguntas e respostas

A API hospedada é compatível com o endpoint OpenAI do Ollama?

Ambos seguem o formato de chat completions da OpenAI, então o código escrito para a rota /v1 do Ollama geralmente precisa apenas de uma nova URL base, chave e ID do modelo.

Posso usar a API nativa do Ollama neste serviço?

Não. Use as rotas estilo OpenAI: /v1/chat/completions, /v1/responses e /v1/models.

Posso executar um modelo da minha escolha?

Não. O serviço executa um único modelo de pesos abertos, selecionado com o ID uncensored. Se você precisar escolher os pesos, continue usando o Ollama.

Ele suporta embeddings?

Não. É apenas geração de texto, então mantenha um modelo de embedding local ou separado se precisar de um.

Sua chave está a um clique de distância

Crie uma conta, copie a chave e altere a URL base. Essa é toda a configuração.

Obter chave de API

https://api.uncensoredllmhub.com/v1