Điểm chính
- Ollama xuất sắc cho công việc riêng tư, ngoại tuyến và một người dùng; endpoint lưu trữ thắng thế khi bạn cần độ đồng thời và khả năng truy cập luôn trực tuyến.
- Chuyển đổi chỉ cần hai dòng cho hầu hết ứng dụng: base URL và model ID.
- Dịch vụ này cung cấp cửa sổ ngữ cảnh 100.000 token, 8 yêu cầu đồng thời trên khóa đầy đủ và giá theo mức sử dụng.
- Giữ Ollama cho thử nghiệm và dùng API lưu trữ cho lưu lượng sản xuất. Nhiều nhóm sử dụng cả hai.
Câu trả lời ngắn gọn: ai nên chuyển đổi
Giữ Ollama nếu bạn làm việc một mình, muốn mọi thứ ngoại tuyến, hoặc thích tự chọn và thay đổi trọng số. Việc chạy miễn phí, riêng tư theo thiết kế, và chế độ tương thích OpenAI tại /v1 giúp dễ dàng xây dựng dựa trên đó.
Hãy xem xét giải pháp thay thế API Ollama khi một trong các điều kiện sau đúng: nhiều người hoặc quy trình gọi mô hình cùng lúc, bạn cần dịch vụ trực tuyến khi máy tính của bạn ngủ, prompt của bạn dài và bộ nhớ GPU của bạn không đủ, hoặc bạn dành nhiều thời gian chăm sóc máy chủ hơn là xây dựng sản phẩm. Endpoint lưu trữ biến mô hình thành một URL và một khóa. Bạn đổi sự kiểm soát trọng số để không phải quản lý phần cứng.
Trang web này là một điểm cuối như vậy: một API văn bản tương thích OpenAI chạy một mô hình trọng số mở được tinh chỉnh để trả lời mà không từ chối nội dung, áp dụng cho việc sử dụng người lớn hợp pháp. Đây không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào. Chi tiết có trong tài liệu.
Ollama cục bộ và endpoint lưu trữ, so sánh bên cạnh
| Chủ đề | Ollama cục bộ | Endpoint lưu trữ tại đây |
|---|---|---|
| Mô hình chi phí | Phần cứng và điện năng của bạn | $0,15 cho mỗi 1M token đầu vào, $0,50 cho mỗi 1M token đầu ra |
| Yêu cầu đồng thời | Giới hạn bởi GPU và cài đặt như các khe đồng thời | 8 yêu cầu đồng thời trên khóa đầy đủ |
| Ngữ cảnh | Đặt theo mô hình; bị giới hạn bởi VRAM | 100.000 token, prompt cộng với hoàn tất |
| Khả dụng | Khi máy của bạn vẫn bật | Luôn truy cập được qua HTTPS |
| Quyền riêng tư | Dữ liệu không bao giờ rời khỏi máy | Các prompt không được sử dụng để huấn luyện |
| Lựa chọn mô hình | Bất kỳ mô hình nào bạn có thể tải xuống và vừa với phần cứng | Một mô hình, ID uncensored |
| Cài đặt | Cài đặt, kéo trọng số, tinh chỉnh | Tạo khóa, đặt base URL |
Hàng cuối cùng về quyền riêng tư cần sự trung thực. Cục bộ mạnh hơn ở điểm này. Nếu tài liệu không bao giờ được rời khỏi mạng của bạn, hãy chạy cục bộ. Nếu bạn chỉ cần prompt không được đưa vào bộ dữ liệu huấn luyện của ai đó, một dịch vụ lưu trữ cam kết điều đó là chấp nhận được cho nhiều dự án.
Độ đồng thời và thời gian trực tuyến
Ollama có thể xử lý yêu cầu đồng thời, nhưng thông lượng bị giới hạn bởi GPU của bạn. Khi nhiều yêu cầu chồng lên nhau, mỗi yêu cầu sẽ chậm lại, và một yêu cầu cần chuyển đổi mô hình có thể làm tắc hàng đợi. Đối với một nhà phát triển đơn lẻ, điều này hiếm khi quan trọng. Đối với bot có hai mươi cuộc trò chuyện mở, điều này có vấn đề.
Với khóa đầy đủ tại đây, bạn nhận được 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử nhận được 2 và 60. Khi vượt quá, API trả về HTTP 429: mã lỗi rate_limited nghĩa là quá nhiều mỗi phút, concurrency nghĩa là quá nhiều cùng lúc, và tiêu đề Retry-After: 5 đánh dấu quá tải tạm thời. Client của bạn nên chờ và thử lại. Yêu cầu truyền phát giữ khe của nó cho đến khi luồng kết thúc, vì vậy hãy đóng các luồng bạn không còn đọc.
Tôi không trích dẫn phần trăm thời gian trực tuyến vì không có số liệu nào được công bố cho dịch vụ này. Nếu thời gian trực tuyến là yêu cầu bắt buộc, hãy kiểm tra bằng lưu lượng thực tế của bạn trong thời gian dùng thử và giữ một phương án dự phòng.
Độ dài ngữ cảnh và bộ nhớ
Ngữ cảnh là nơi các thiết lập cục bộ cảm thấy bị ép. Bộ nhớ đệm khóa-giá trị tăng lên với mỗi token, nên prompt dài cạnh tranh với trọng số mô hình cho bộ nhớ GPU. Ollama cho phép bạn tăng ngữ cảnh theo mô hình, nhưng cửa sổ lớn hơn trên card người dùng thường có nghĩa là mô hình nhỏ hơn hoặc lượng tử hóa nặng hơn.
Tại đây, cửa sổ là 100.000 token và phần phản hồi có thể sử dụng phần còn lại của nó, nên max_tokens là tùy chọn. Điều đó đủ cho một tài liệu dài cộng câu trả lời dài, hoặc lịch sử đóng vai chạy trong nhiều giờ. Đầu vào lớn có giá, bạn có thể tính chính xác: prompt 60.000 token tốn 60.000 / 1.000.000 x $0,15 = $0,009, và câu trả lời 2.000 token tốn 2.000 / 1.000.000 x $0,50 = $0,001. Một yêu cầu tài liệu dài rơi vào gần một xu.
Những thay đổi trong mã của bạn
Nếu bạn đã gọi Ollama qua tuyến tương thích OpenAI của nó, bạn chỉ cần thay đổi base URL, khóa và tên mô hình. Không có gì khác.
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)Truyền phát hoạt động theo cách tương tự. Ví dụ Node này sử dụng gói OpenAI chính thức.
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}Nếu bạn đã dùng các tuyến /api/chat gốc của Ollama, bạn cần viết lại nhỏ sang định dạng hoàn thành chat, chủ yếu là đổi tên các trường. Gọi công cụ (tools, tool_choice), chế độ JSON (response_format) và các tham số lấy mẫu được hỗ trợ. Các endpoint có sẵn là POST /v1/chat/completions, POST /v1/responses và GET /v1/models. Không có endpoint embedding, nên nếu ứng dụng của bạn dùng Ollama cho embedding, hãy giữ phần đó ở cục bộ.
Chi phí: khi nào lưu trữ rẻ hơn
Cục bộ không miễn phí. GPU chạy mô hình cỡ trung có chi phí mua, tiêu thụ điện và nằm không hoạt động giữa các yêu cầu. API lưu trữ chỉ tính phí theo token, nên mức sử dụng thấp và biến động nghiêng về phía lưu trữ.
Ví dụ đã tính toán: một ứng dụng trò chuyện với 5.000 yêu cầu mỗi tháng, mỗi yêu cầu có 3.000 token đầu vào và 400 token đầu ra. Đầu vào: 5.000 x 3.000 = 15.000.000 token, hoặc 15 x $0,15 = $2,25. Đầu ra: 5.000 x 400 = 2.000.000 token, hoặc 2 x $0,50 = $1,00. Hóa đơn hàng tháng là $3,25. Lưu lượng cao và liên tục thay đổi cách tính toán, và một GPU đã sở hữu chạy quanh ngày có thể thắng thế. So sánh với số liệu điện và phần cứng của bạn, và kiểm tra giá hiện tại của các nhà cung cấp khác trước khi quyết định.
Tín dụng là trả trước, không bao giờ hết hạn, và các yêu cầu thất bại hoặc bị từ chối không bị tính phí. Nạp tiền chạy từ $20 đến $500 với tiền thưởng từ $50, và bạn có thể thanh toán bằng tiền mã hóa. Xem giá cả để biết chi tiết.
Hybrid hợp lý và cách bắt đầu
Bạn không phải chọn một. Phát triển và chạy thử nghiệm riêng tư trên Ollama, sau đó trỏ lưu lượng sản xuất vào URL lưu trữ bằng cách thay đổi biến môi trường. Hướng dẫn của chúng tôi về tự lưu trữ LLM liệt kê những gì một thiết lập tự lưu trữ bao gồm, và mô hình Ollama không kiểm duyệt bao gồm các tùy chọn cục bộ nếu bạn thích giữ ngoại tuyến.
Để thử endpoint, tạo tài khoản trên trang khóa API và nhận tín dụng dùng thử $0,50 chỉ với một cú nhấp chuột. Nó không cần thẻ, có hiệu lực trong 7 ngày và giới hạn một lần dùng cho mỗi người. Hãy chạy các prompt thực tế của bạn qua nó trước khi chuyển đổi bất cứ thứ gì.

