Điểm chính
- Trọng số mô hình cần khoảng 2 byte trên mỗi tham số ở 16-bit, 1 byte ở 8-bit và 0.5 byte ở 4-bit, cộng thêm không gian cho bộ đệm ngữ cảnh.
- GPU thuê tính phí cho mỗi giờ nó hoạt động, trong khi API chỉ tính phí cho các token bạn gửi và nhận.
- Ở mức $0.15 cho 1 triệu token đầu vào và $0.50 cho 1 triệu token đầu ra, 20.000 cuộc trò chuyện mỗi ngày với 1.500 token đầu vào và 500 token đầu ra tốn $285 một tháng.
- Tự lưu trữ thắng thế khi bạn cần tinh chỉnh, một mô hình khác, sử dụng ngoại tuyến hoặc khối lượng lớn, ổn định.
Câu trả lời ngắn gọn: nó phụ thuộc vào khối lượng sử dụng của bạn
Nếu bạn đang hỏi cách tự lưu trữ trọng số LLM, tóm tắt trung thực là dễ dàng để có một mô hình trả lời trên máy của riêng bạn nhưng khó để chạy nó rẻ tiền cho người khác. Laptop hoặc GPU máy tính để bàn là đủ cho việc sử dụng cá nhân. Một dịch vụ phải xử lý nhiều người dùng cùng lúc, bất cứ lúc nào, cần nhiều bộ nhớ hơn, tinh chỉnh hơn và ai đó để giữ cho nó chạy.
Giải pháp thay thế là gọi một endpoint tương thích OpenAI được lưu trữ và trả tiền theo token. Đối với các khối lượng công việc nhỏ và vừa, điều này gần như luôn rẻ hơn vì bạn không bao giờ phải trả tiền cho thời gian GPU nhàn rỗi. Đối với các khối lượng công việc rất lớn và ổn định, hoặc các công việc cần mô hình tinh chỉnh riêng của bạn, việc sở hữu phần cứng bắt đầu có ý nghĩa. Các phần bên dưới đưa ra các con số cho cả hai phía để bạn tìm điểm hòa vốn của riêng mình.
Không có gói miễn phí ở đây. Bạn có thể nhận tín dụng dùng thử một lần $0.50 trên trang khóa API sau khi đăng ký, và sau đó bạn nạp tiền trả trước từ $20. Tín dụng dùng thử đủ để chạy thử nghiệm thực tế các prompt của bạn trước khi quyết định bất cứ điều gì.
Yêu cầu thực tế khi lưu trữ mô hình
Một mô hình ngôn ngữ là một tệp số lớn, các trọng số, phải nằm trong bộ nhớ nhanh khi mô hình chạy. Kích thước của tệp đó là ràng buộc đầu tiên, và bạn có thể tự tính toán nó: số tham số nhân với byte trên mỗi tham số.
| Kích thước mô hình | Trọng số 16-bit | Trọng số 8-bit | Trọng số 4-bit |
|---|---|---|---|
| 8 tỷ tham số | 16 GB | 8 GB | 4 GB |
| 32 tỷ tham số | 64 GB | 32 GB | 16 GB |
| 70 tỷ tham số | 140 GB | 70 GB | 35 GB |
Đây chỉ là trọng số. Ngoài ra bạn cần bộ nhớ cho bộ đệm khóa-giá trị, tăng theo độ dài của mỗi cuộc hội thoại đang hoạt động, và một số dung lượng dự phòng cho thời gian chạy. Một mô hình danh nghĩa phù hợp với 24 GB có thể hết bộ nhớ ngay khi bạn yêu cầu ngữ cảnh dài hoặc nhiều người dùng đồng thời. Lượng tử hóa xuống 4-bit làm giảm kích thước tệp, nhưng cũng làm thay đổi chất lượng đầu ra một chút, và hiệu ứng thay đổi tùy theo mô hình.
Sau đó là phần mềm. Bạn cần một máy chủ suy luận như llama.cpp, Ollama hoặc vLLM, một lớp HTTP để ứng dụng của bạn gọi nó, một cách để khởi động lại nó khi nó bị lỗi, và giám sát để bạn nhận ra khi nó sập. Không cái nào trong số này khó theo cách riêng lẻ. Tất cả đều tốn thời gian, và thời gian là một phần của chi phí.
Tùy chọn một: chạy trên máy tính của bạn
Cách rẻ nhất để bắt đầu là máy bạn đã sở hữu. Các công cụ như Ollama và llama.cpp tải xuống một mô hình và cung cấp máy chủ cục bộ, và nhiều công cụ trong số đó cũng cung cấp endpoint kiểu OpenAI, vì vậy mã bạn viết cho chúng sau đó có thể trỏ đến API được lưu trữ bằng cách thay đổi hai cài đặt.
Lưu trữ cục bộ phù hợp khi:
- bạn là một người đang thử nghiệm, và vài giây mỗi câu trả lời là ổn;
- dữ liệu không bao giờ được rời khỏi máy;
- bạn muốn thử nhiều mô hình mở khác nhau nhanh chóng;
- bạn có GPU với đủ bộ nhớ và nó nhàn rỗi hầu hết thời gian trong ngày.
Nó không phù hợp khi bạn cần phục vụ người khác, khi mô hình bạn muốn lớn hơn bộ nhớ của bạn, hoặc khi bạn muốn ngữ cảnh dài. So sánh của chúng tôi về các mô hình không kiểm duyệt cục bộ và API được lưu trữ đi sâu vào các sự đánh đổi chi tiết hơn, bao gồm những thay đổi về chất lượng câu trả lời giữa các mô hình cục bộ nhỏ và các mô hình lớn hơn được lưu trữ.
Điện là một mục chi phí nhỏ nhưng thực tế cho một người dùng duy nhất. Chi phí lớn hơn là phần cứng bạn phải mua, bạn trả tiền cho nó bất kể bạn có sử dụng nó hay không. Nếu bạn đã sở hữu nó, chi phí biên thấp và lưu trữ cục bộ rất khó bị đánh bại cho các thử nghiệm riêng tư.
Tùy chọn hai: thuê máy chủ GPU
Khi máy của bạn không đủ sức, bước tiếp theo là thuê máy chủ GPU. Các nhà cung cấp tính phí theo giờ cho một máy với lượng bộ nhớ GPU nhất định. Giá thay đổi rất nhiều giữa các nhà cung cấp và thay đổi thường xuyên, vì vậy hãy kiểm tra giá hiện tại của họ thay vì tin bất kỳ con số nào bạn đọc trong bài viết, bao gồm bài viết này.
Điều quan trọng là cấu trúc chi phí. Máy chủ thuê tính phí cho mỗi giờ nó được bật, bất kể nó đang trả lời một yêu cầu hay không. Nếu bạn để nó chạy cả tháng, phép tính rất đơn giản: một tháng có khoảng 730 giờ (8.760 giờ trong một năm chia cho 12). Giả sử, hoàn toàn là một ví dụ giả định và không phải là báo giá, rằng một máy chủ phù hợp tốn $1 mỗi giờ. Chạy nó liên tục sau đó tốn 730 × $1 = $730 một tháng trước khi bạn thêm lưu trữ, băng thông và thời gian của chính bạn.
Bạn có thể tắt máy chủ khi không sử dụng, nhưng sau đó bạn trả giá bằng độ trễ: tải một mô hình lớn vào bộ nhớ mất thời gian, và người dùng đầu tiên sau khi tạm dừng chờ đợi nó. Các thiết lập tự động mở rộng giảm thiểu điều này, nhưng chúng thêm độ phức tạp của riêng chúng.
Điểm hòa vốn so với API dựa trên giá cả. Một triệu token đầu vào cộng một triệu token đầu ra tốn $0.15 + $0.50 = $0.65 trên API này. Máy chủ giả định $730 của bạn bằng 730 ÷ 0.65 ≈ 1.123 cặp như vậy, hoặc khoảng 1,1 tỷ token đầu vào và 1,1 tỷ token đầu ra trong một tháng. Dưới khối lượng đó, API rẻ hơn. Trên đó, một máy chủ được sử dụng tốt có thể thắng, miễn là nó thực sự có thể theo kịp lưu lượng đó, điều này phụ thuộc vào mô hình, GPU và cách bạn tinh chỉnh máy chủ.
Tùy chọn ba: sử dụng API được lưu trữ
Lựa chọn API loại bỏ phần cứng, máy chủ và thời gian nhàn rỗi. Bạn gửi một yêu cầu, bạn nhận được câu trả lời, và bạn trả tiền cho các token đã được sử dụng. Giá ở đây là $0.15 cho 1 triệu token đầu vào và $0.50 cho 1 triệu token đầu ra, trả tiền theo mức sử dụng từ tín dụng trả trước, không có đăng ký. Tín dụng không bao giờ hết hạn, và các yêu cầu thất bại hoặc bị từ chối không được tính phí.
Đây là cách nó trông ở ba khối lượng thực tế. Một lượt trò chuyện điển hình được giả định sử dụng 1.500 token đầu vào (prompt hệ thống cộng lịch sử) và 500 token đầu ra.
- Một yêu cầu: 1.500 token đầu vào tốn 0,0015 × $0,15 = $0,000225, và 500 token đầu ra tốn 0,0005 × $0,50 = $0,00025. Cùng nhau đó là $0,000475.
- 1.000 cuộc trò chuyện mỗi ngày, 30 ngày: 1.000 × $0,000475 = $0,475 một ngày, hoặc $14,25 một tháng.
- 20.000 cuộc trò chuyện mỗi ngày, 30 ngày: 20.000 × $0,000475 = $9,50 một ngày, hoặc $285 một tháng.
- Một công việc hàng loạt 100.000 yêu cầu với 2.000 token đầu vào và 400 token đầu ra mỗi yêu cầu: đầu vào là 200 triệu token, vậy 200 × $0,15 = $30; đầu ra là 40 triệu token, vậy 40 × $0,50 = $20. Tổng cộng là $50.
Ở con số giữa, API tốn $285 một tháng, thấp hơn nhiều so với $730 giả định cho một máy chủ luôn bật. Ở con số lớn nhất, bạn cần nhiều lưu lượng hơn trước khi máy chủ thuê bắt kịp. Các prompt của riêng bạn quyết định các con số thực tế, vì vậy hãy đo một mẫu thay vì đoán. Khối lượng sử dụng trả về cùng với mọi phản hồi cho bạn biết chính xác số lượng token.
Tín dụng dùng thử $0,50 bao gồm khoảng 1.052 yêu cầu kích thước 1.500 đầu vào, 500 đầu ra (0,50 ÷ 0,000475 ≈ 1.052), điều đó đủ cho một bài kiểm tra. Sau đó bạn nạp tiền với bất kỳ số nguyên nào từ $20 đến $500. Các khoản nạp tiền lớn hơn có thêm tiền thưởng: +5% từ $50, +10% từ $100 và +15% từ $200, vì vậy một khoản nạp $100 cho $110 tín dụng. Chi tiết có trên trang giá cả. Thanh toán bằng thẻ (Visa, Mastercard, Apple Pay, Google Pay) hoặc crypto (USDT trên TRC20, USDC trên Base).
Bạn mất gì khi không lưu trữ
Một API không miễn trừ các sự đánh đổi, và tốt hơn là bạn nên biết chúng trước khi xây dựng dựa trên nó.
- Một mô hình. Bạn có một mô hình trọng số mở duy nhất, được gọi là
uncensored. Bạn không thể thay thế bằng một mô hình khác hoặc tải trọng số của riêng bạn. - Không tinh chỉnh và chỉ văn bản. Không có endpoint huấn luyện, không có embedding và không có tạo hình ảnh, âm thanh hoặc video.
- Giới hạn. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút. Khóa dùng thử cho phép 2 đồng thời và 60 mỗi phút. Điều đó phù hợp với hầu hết các ứng dụng, nhưng một lô rất lớn cần xếp hàng ở phía bạn.
- Cửa sổ ngữ cảnh. Cửa sổ ngữ cảnh là 100.000 token cho prompt cộng thêm kết quả.
- Dữ liệu của bạn rời khỏi mạng của bạn. Các prompt không được sử dụng để huấn luyện, nhưng chúng di chuyển đến bên thứ ba. Nếu điều đó không chấp nhận được cho một tập dữ liệu nhất định, hãy lưu trữ cục bộ.
Tự lưu trữ là lựa chọn tốt hơn khi bất kỳ điều nào trong số này là yêu cầu bắt buộc: tinh chỉnh trên dữ liệu của riêng bạn, một mô hình cụ thể mà API không cung cấp, hoạt động hoàn toàn ngoại tuyến, hoặc khối lượng ổn định đủ lớn để phần cứng sở hữu luôn bận rộn suốt ngày đêm.
Hãy thử API trước khi mua phần cứng
Một giờ kiểm thử tốn ít hơn một giờ thuê máy chủ của hầu hết các nhà cung cấp và cho bạn biết liệu mô hình có trả lời các prompt của bạn tốt hay không. Endpoint tương thích với OpenAI, vì vậy nếu bạn đã có mã nguồn giao tiếp với máy chủ cục bộ, bạn chỉ cần thay đổi URL cơ sở, khóa API và ID mô hình. Script này cũng báo cáo chi phí cho mỗi lần gọi bằng cách sử dụng số liệu sử dụng trong phản hồi:
from openai import OpenAI
client = OpenAI(
base_url="https://api.uncensoredllmhub.com/v1",
api_key="YOUR_API_KEY",
)
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the pros and cons of self-hosting an LLM."}],
)
u = resp.usage
cost = u.prompt_tokens / 1_000_000 * 0.15 + u.completion_tokens / 1_000_000 * 0.50
print(resp.choices[0].message.content)
print(f"in={u.prompt_tokens} out={u.completion_tokens} cost=${cost:.6f}")Chạy nó trên vài chục prompt thực tế của bạn, cộng các dòng chi phí lại và nhân với khối lượng hàng ngày dự kiến của bạn. Điều đó cho bạn một con số bạn có thể đặt cạnh báo giá phần cứng. Nếu bạn muốn chi tiết thiết lập, tài liệu liệt kê các tham số được hỗ trợ, bao gồm truyền phát, gọi hàm và chế độ JSON.
