VI ▾

Bắt đầu với tín dụng dùng thử

Email và mật khẩu, khóa hiện ngay trên màn hình.

https://api.uncensoredllmhub.com/v1

Giải pháp thay thế API Ollama: Khi nào dùng endpoint lưu trữ

Giải pháp thay thế API Ollama hợp lý khi ứng dụng của bạn vượt quá khả năng của một máy: nhiều người dùng cùng lúc, prompt dài hơn, hoặc bạn không muốn để máy tính xách tay chạy liên tục. Bài viết này so sánh Ollama cục bộ với endpoint tương thích OpenAI lưu trữ và hướng dẫn thay đổi mã nhỏ để chuyển đổi.

Cập nhật

Máy tính cục bộ liên kết với máy chủ lưu trữ, minh họa việc chuyển từ Ollama sang API lưu trữ
Giá đỡ máy chủ và cân thăng bằng với đồng xu bên cạnh đám mây phát sáng, so sánh tự lưu trữ với API

Điểm chính

  • Ollama xuất sắc cho công việc riêng tư, ngoại tuyến và một người dùng; endpoint lưu trữ thắng thế khi bạn cần độ đồng thời và khả năng truy cập luôn trực tuyến.
  • Chuyển đổi chỉ cần hai dòng cho hầu hết ứng dụng: base URL và model ID.
  • Dịch vụ này cung cấp cửa sổ ngữ cảnh 100.000 token, 8 yêu cầu đồng thời trên khóa đầy đủ và giá theo mức sử dụng.
  • Giữ Ollama cho thử nghiệm và dùng API lưu trữ cho lưu lượng sản xuất. Nhiều nhóm sử dụng cả hai.

Câu trả lời ngắn gọn: ai nên chuyển đổi

Giữ Ollama nếu bạn làm việc một mình, muốn mọi thứ ngoại tuyến, hoặc thích tự chọn và thay đổi trọng số. Việc chạy miễn phí, riêng tư theo thiết kế, và chế độ tương thích OpenAI tại /v1 giúp dễ dàng xây dựng dựa trên đó.

Hãy xem xét giải pháp thay thế API Ollama khi một trong các điều kiện sau đúng: nhiều người hoặc quy trình gọi mô hình cùng lúc, bạn cần dịch vụ trực tuyến khi máy tính của bạn ngủ, prompt của bạn dài và bộ nhớ GPU của bạn không đủ, hoặc bạn dành nhiều thời gian chăm sóc máy chủ hơn là xây dựng sản phẩm. Endpoint lưu trữ biến mô hình thành một URL và một khóa. Bạn đổi sự kiểm soát trọng số để không phải quản lý phần cứng.

Trang web này là một điểm cuối như vậy: một API văn bản tương thích OpenAI chạy một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung, áp dụng cho việc sử dụng người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Chi tiết có trong tài liệu.

Ollama cục bộ và endpoint lưu trữ, so sánh bên cạnh

Chủ đềOllama cục bộEndpoint lưu trữ tại đây
Mô hình chi phíPhần cứng và điện năng của bạn$0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra
Yêu cầu đồng thờiGiới hạn bởi GPU và cài đặt như các khe đồng thời8 yêu cầu đồng thời trên khóa đầy đủ
Ngữ cảnhĐặt theo mô hình; bị giới hạn bởi VRAM100.000 token, prompt cộng với hoàn tất
Khả dụngKhi máy của bạn vẫn bậtLuôn truy cập được qua HTTPS
Quyền riêng tưDữ liệu không bao giờ rời khỏi máyCác prompt không được sử dụng để huấn luyện
Lựa chọn mô hìnhBất kỳ mô hình nào bạn có thể tải xuống và vừa với phần cứngMột mô hình, ID uncensored
Cài đặtCài đặt, kéo trọng số, tinh chỉnhTạo khóa, đặt base URL

Hàng cuối cùng về quyền riêng tư cần sự trung thực. Cục bộ mạnh hơn ở điểm này. Nếu tài liệu không bao giờ được rời khỏi mạng của bạn, hãy chạy cục bộ. Nếu bạn chỉ cần prompt không được đưa vào bộ dữ liệu huấn luyện của ai đó, một dịch vụ lưu trữ cam kết điều đó là chấp nhận được cho nhiều dự án.

Độ đồng thời và thời gian trực tuyến

Ollama có thể xử lý yêu cầu đồng thời, nhưng thông lượng bị giới hạn bởi GPU của bạn. Khi nhiều yêu cầu chồng lên nhau, mỗi yêu cầu sẽ chậm lại, và một yêu cầu cần chuyển đổi mô hình có thể làm tắc hàng đợi. Đối với một nhà phát triển đơn lẻ, điều này hiếm khi quan trọng. Đối với bot có hai mươi cuộc trò chuyện mở, điều này có vấn đề.

Với khóa đầy đủ tại đây, bạn nhận được 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử nhận được 2 và 60. Khi vượt quá, API trả về HTTP 429: mã lỗi rate_limited nghĩa là quá nhiều mỗi phút, concurrency nghĩa là quá nhiều cùng lúc, và tiêu đề Retry-After: 5 đánh dấu quá tải tạm thời. Client của bạn nên chờ và thử lại. Yêu cầu truyền phát giữ khe của nó cho đến khi luồng kết thúc, vì vậy hãy đóng các luồng bạn không còn đọc.

Tôi không trích dẫn phần trăm thời gian trực tuyến vì không có số liệu nào được công bố cho dịch vụ này. Nếu thời gian trực tuyến là yêu cầu bắt buộc, hãy kiểm tra bằng lưu lượng thực tế của bạn trong thời gian dùng thử và giữ một phương án dự phòng.

Độ dài ngữ cảnh và bộ nhớ

Ngữ cảnh là nơi các thiết lập cục bộ cảm thấy bị ép. Bộ nhớ đệm khóa-giá trị tăng lên với mỗi token, nên prompt dài cạnh tranh với trọng số mô hình cho bộ nhớ GPU. Ollama cho phép bạn tăng ngữ cảnh theo mô hình, nhưng cửa sổ lớn hơn trên card người dùng thường có nghĩa là mô hình nhỏ hơn hoặc lượng tử hóa nặng hơn.

Tại đây, cửa sổ là 100.000 token và phần phản hồi có thể sử dụng phần còn lại của nó, nên max_tokens là tùy chọn. Điều đó đủ cho một tài liệu dài cộng câu trả lời dài, hoặc lịch sử đóng vai chạy trong nhiều giờ. Đầu vào lớn có giá, bạn có thể tính chính xác: prompt 60.000 token tốn 60.000 / 1.000.000 x $0,15 = $0,009, và câu trả lời 2.000 token tốn 2.000 / 1.000.000 x $0,50 = $0,001. Một yêu cầu tài liệu dài rơi vào gần một xu.

Những thay đổi trong mã của bạn

Nếu bạn đã gọi Ollama qua tuyến tương thích OpenAI của nó, bạn chỉ cần thay đổi base URL, khóa và tên mô hình. Không có gì khác.

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

Truyền phát hoạt động theo cách tương tự. Ví dụ Node này sử dụng gói OpenAI chính thức.

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

Nếu bạn đã dùng các tuyến /api/chat gốc của Ollama, bạn cần viết lại nhỏ sang định dạng hoàn thành chat, chủ yếu là đổi tên các trường. Gọi công cụ (tools, tool_choice), chế độ JSON (response_format) và các tham số lấy mẫu được hỗ trợ. Các endpoint có sẵn là POST /v1/chat/completions, POST /v1/responses và GET /v1/models. Không có endpoint embedding, nên nếu ứng dụng của bạn dùng Ollama cho embedding, hãy giữ phần đó ở cục bộ.

Chi phí: khi nào lưu trữ rẻ hơn

Cục bộ không miễn phí. GPU chạy mô hình cỡ trung có chi phí mua, tiêu thụ điện và nằm không hoạt động giữa các yêu cầu. API lưu trữ chỉ tính phí theo token, nên mức sử dụng thấp và biến động nghiêng về phía lưu trữ.

Ví dụ đã tính toán: một ứng dụng trò chuyện với 5.000 yêu cầu mỗi tháng, mỗi yêu cầu có 3.000 token đầu vào và 400 token đầu ra. Đầu vào: 5.000 x 3.000 = 15.000.000 token, hoặc 15 x $0,15 = $2,25. Đầu ra: 5.000 x 400 = 2.000.000 token, hoặc 2 x $0,50 = $1,00. Hóa đơn hàng tháng là $3,25. Lưu lượng cao và liên tục thay đổi cách tính toán, và một GPU đã sở hữu chạy quanh ngày có thể thắng thế. So sánh với số liệu điện và phần cứng của bạn, và kiểm tra giá hiện tại của các nhà cung cấp khác trước khi quyết định.

Tín dụng là trả trước, không bao giờ hết hạn, và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Nạp tiền chạy từ $20 đến $500 với tiền thưởng từ $50, và bạn có thể thanh toán bằng tiền mã hóa. Xem giá cả để biết chi tiết.

Hybrid hợp lý và cách bắt đầu

Bạn không phải chọn một. Phát triển và chạy thử nghiệm riêng tư trên Ollama, sau đó trỏ lưu lượng sản xuất vào URL lưu trữ bằng cách thay đổi biến môi trường. Hướng dẫn của chúng tôi về tự lưu trữ LLM liệt kê những gì một thiết lập tự lưu trữ bao gồm, và mô hình Ollama không kiểm duyệt bao gồm các tùy chọn cục bộ nếu bạn thích giữ ngoại tuyến.

Để thử endpoint, tạo tài khoản trên trang khóa API và nhận tín dụng dùng thử $0,50 chỉ với một cú nhấp chuột. Nó không cần thẻ, có hiệu lực trong 7 ngày và giới hạn một lần dùng cho mỗi người. Hãy chạy các prompt thực tế của bạn qua nó trước khi chuyển đổi bất cứ thứ gì.

Hỏi đáp

API lưu trữ có tương thích với endpoint OpenAI của Ollama không?

Cả hai đều tuân theo định dạng chat completions của OpenAI, nên mã viết cho tuyến /v1 của Ollama thường chỉ cần một URL cơ sở mới, khóa và model ID.

Tôi có thể dùng API gốc của Ollama cho dịch vụ này không?

Không. Hãy sử dụng các tuyến theo phong cách OpenAI: /v1/chat/completions, /v1/responses và /v1/models.

Bạn có thể chạy mô hình do mình chọn không?

Không. Dịch vụ chạy một mô hình trọng số mở duy nhất, chọn bằng ID uncensored. Nếu bạn cần tự chọn trọng số, hãy tiếp tục dùng Ollama.

Bạn có hỗ trợ embeddings không?

Không. Chỉ có sinh văn bản, nên hãy giữ mô hình embedding cục bộ hoặc riêng biệt nếu bạn cần.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ quá trình cài đặt.

Lấy khóa API

https://api.uncensoredllmhub.com/v1