ประเด็นสำคัญ
- Ollama เหมาะสมมากสำหรับงานส่วนตัว ออฟไลน์ และผู้ใช้คนเดียว; เอนด์พอยต์แบบโฮสต์จะดีกว่าเมื่อคุณต้องการความพร้อมกันและการเข้าถึงแบบเปิดตลอดเวลา
- การเปลี่ยนใช้เพียงสองบรรทัดสำหรับแอปส่วนใหญ่: base URL และ model ID
- บริการนี้ให้หน้าต่างบริบทขนาด 100,000 โทเคน รองรับคำขอพร้อมกัน 8 คำขอเมื่อใช้คีย์แบบเต็ม และใช้ระบบราคาแบบจ่ายตามการใช้งาน
- เก็บ Ollama ไว้สำหรับการทดลองและใช้ API แบบโฮสต์สำหรับปริมาณการผลิต ทีมงานจำนวนมากใช้ทั้งสองอย่าง
คำตอบสั้นๆ: ใครควรเปลี่ยน
ใช้ Ollama หากคุณทำงานคนเดียว ต้องการออฟไลน์ทั้งหมด หรือชอบเลือกและเปลี่ยนน้ำหนักโมเดลด้วยตนเอง การใช้งานฟรี เป็นส่วนตัวโดยโครงสร้าง และโหมดที่เข้ากันได้กับ OpenAI ที่ /v1 ทำให้การสร้างแอปพลิเคชันทำได้ง่าย
พิจารณาตัวเลือก API Ollama เมื่อเป็นไปตามเงื่อนไขเหล่านี้: มีหลายคนหรือหลายกระบวนการเรียกใช้โมเดลพร้อมกัน คุณต้องการให้บริการทำงานต่อเนื่องแม้คอมพิวเตอร์ของคุณจะพักอยู่ พรอมต์ของคุณยาวและหน่วยความจำ GPU ไม่เพียงพอ หรือคุณใช้เวลาส่วนใหญ่ในการดูแลเซิร์ฟเวอร์มากกว่าการสร้างผลิตภัณฑ์ เอนด์พอยต์แบบโฮสต์เปลี่ยนโมเดลให้เป็น URL และคีย์ คุณสละการควบคุมน้ำหนักโมเดลเพื่อแลกกับการไม่ต้องจัดการฮาร์ดแวร์
เว็บไซต์นี้คือเอนด์พอยต์แบบโฮสต์หนึ่งแห่ง: API ข้อความที่เข้ากันได้กับ OpenAI ที่รันโมเดลแบบเปิดน้ำหนักหนึ่งตัวซึ่งปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API อย่างเป็นทางการจากผู้ขายโมเดลรายใดรายหนึ่ง รายละเอียดอยู่ใน เอกสาร
Ollama ในเครื่องและเอนด์พอยต์แบบโฮสต์เปรียบเทียบกัน
| หัวข้อ | Ollama ในเครื่อง | เอนด์พอยต์แบบโฮสต์ที่นี่ |
|---|---|---|
| โมเดลต้นทุน | ฮาร์ดแวร์และพลังงานของคุณ | $0.15 ต่อ 1M โทเคนอินพุต, $0.50 ต่อ 1M โทเคนเอาต์พุต |
| คำขอพร้อมกัน | จำกัดโดย GPU และการตั้งค่าเช่นช่องคู่ขนาน | รองรับคำขอพร้อมกัน 8 คำขอเมื่อใช้คีย์แบบเต็ม |
| บริบท | ตั้งค่าต่อโมเดล; จำกัดโดย VRAM | 100,000 โทเคน, พรอมต์รวมกับผลลัพธ์ |
| ความพร้อมใช้งาน | ตราบใดที่เครื่องของคุณยังเปิดอยู่ | เข้าถึงได้เสมอผ่าน HTTPS |
| ความเป็นส่วนตัว | ข้อมูลไม่ออกจากเครื่องเลย | พรอมต์ไม่ถูกใช้ในการฝึกฝน |
| การเลือกโมเดล | โมเดลใดๆ ที่คุณสามารถดาวน์โหลดและติดตั้งได้ | หนึ่งโมเดล, ID uncensored |
| การตั้งค่า | ติดตั้ง ดึงโมเดล ปรับแต่ง | สร้างคีย์ API ตั้งค่า Base URL |
แถวสุดท้ายของความเป็นส่วนตัวต้องการความตรงไปตรงมา การทำงานในเครื่องมีความแข็งแกร่งกว่าในประเด็นนั้น หากเอกสารต้องไม่ออกจากเครือข่ายของคุณ ให้รันในเครื่อง หากต้องการเพียงให้พรอมต์ไม่ถูกนำไปใช้ในชุดข้อมูลฝึกของใคร บริการแบบโฮสต์ที่ระบุว่าทำเช่นนั้นได้ก็ยอมรับได้ในหลายโปรเจกต์
ความพร้อมใช้งานพร้อมกันและเวลาทำงาน
Ollama สามารถให้บริการคำขอแบบขนานได้ แต่ปริมาณงานที่ส่งผ่านได้ถูกจำกัดโดย GPU ของคุณ เมื่อมีการเรียกใช้งานหลายรายการพร้อมกัน ความเร็วของแต่ละรายการจะลดลง และการเรียกใช้งานที่ต้องสลับโมเดลอาจทำให้คิวหยุดชะงัก สำหรับนักพัฒนาคนเดียวเรื่องนี้มักไม่สำคัญ แต่สำหรับบอทที่มีแชทเปิดไว้ยี่สิบแชท เรื่องนี้สำคัญ
ด้วยคีย์เต็มคุณจะได้รับคำขอพร้อมกัน 8 รายการและ 300 คำขอต่อนาที คีย์ทดลองได้รับ 2 และ 60 เมื่อเกินขีดจำกัด API จะตอบกลับด้วย HTTP 429: รหัสข้อผิดพลาด rate_limited หมายถึงเกินจำนวนต่อนาที concurrency หมายถึงเกินจำนวนพร้อมกัน และส่วนหัว Retry-After: 5 บ่งชี้การโอเวอร์โหลดชั่วคราว ไคลเอนต์ของคุณควรรอและลองใหม่ คำขอแบบสตรีมมิงจะยึดสล็อตไว้จนกว่าสตรีมจะจบ ดังนั้นให้ปิดสตรีมที่คุณไม่ได้ใช้อีกต่อไป
ผมไม่อ้างอิงเปอร์เซ็นต์เวลาทำงานเนื่องจากไม่มีข้อมูลเผยแพร่สำหรับบริการนี้ หากเวลาทำงานเป็นข้อกำหนดสำคัญ ให้ทดสอบด้วยปริมาณการจราจรของคุณในช่วงทดลองใช้และเตรียมแผนสำรองไว้
ความยาวของบริบทและหน่วยความจำ
หน้าต่างบริบทคือจุดที่การตั้งค่าในเครื่องรู้สึกถึงแรงกดดัน แคชแบบคีย์-ค่าจะขยายตามทุกโทเคน ดังนั้นพรอมต์ที่ยาวจึงแข่งขันกับน้ำหนักโมเดลเพื่อใช้หน่วยความจำ GPU Ollama ช่วยให้คุณเพิ่มหน้าต่างบริบทต่อโมเดลได้ แต่หน้าต่างที่กว้างกว่าบนการ์ดจอสำหรับผู้ใช้ทั่วไปมักหมายถึงโมเดลที่มีขนาดเล็กลงหรือมีการบีบอัดข้อมูลมากขึ้น
ที่นี่หน้าต่างมีขนาด 100,000 โทเคน และการสร้างผลลัพธ์สามารถใช้สิ่งที่เหลืออยู่ของหน้าต่างนั้นได้ ดังนั้น max_tokens จึงเป็นตัวเลือก ค่านี้เพียงพอสำหรับเอกสารยาวพร้อมคำตอบยาว หรือประวัติบทบาทสมมติที่ดำเนินไปหลายชั่วโมง อินพุตขนาดใหญ่มีราคา ซึ่งคุณสามารถคำนวณได้แม่นยำ: พรอมต์ 60,000 โทเคนมีราคา 60,000 / 1,000,000 x $0.15 = $0.009 และคำตอบ 2,000 โทเคนมีราคา 2,000 / 1,000,000 x $0.50 = $0.001 การเรียกใช้งานเอกสารยาวหนึ่งครั้งมีค่าใช้จ่ายใกล้เคียงหนึ่งเซ็นต์
สิ่งที่เปลี่ยนแปลงในโค้ดของคุณ
หากคุณเรียกใช้ Ollama ผ่านเส้นทางที่เข้ากันได้กับ OpenAI อยู่แล้ว คุณเปลี่ยน Base URL คีย์ และชื่อโมเดลเท่านั้น ไม่มีอะไรอื่น
from openai import OpenAI
# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"
# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")
r = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)สตรีมมิงทำงานในลักษณะเดียวกัน ตัวอย่าง Node.js นี้ใช้แพ็กเกจ OpenAI อย่างเป็นทางการ
import OpenAI from "openai";
const client = new OpenAI({
baseURL: "https://api.uncensoredllmhub.com/v1",
apiKey: process.env.LLM_KEY,
});
const stream = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Write a limerick about servers." }],
stream: true,
});
for await (const chunk of stream) {
process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}หากคุณใช้เส้นทาง /api/chat ดั้งเดิมของ Ollama คุณต้องแก้ไขเล็กน้อยให้เป็นรูปแบบการสนทนา โดยส่วนใหญ่เป็นการเปลี่ยนชื่อฟิลด์ การเรียกใช้เครื่องมือ (tools, tool_choice), โหมด JSON (response_format) และพารามิเตอร์การสุ่มตัวอย่างได้รับการรองรับ เอนด์พอยต์ที่มีอยู่คือ POST /v1/chat/completions, POST /v1/responses และ GET /v1/models ไม่มีเอนด์พอยต์ embeddings ดังนั้นหากแอปของคุณใช้ Ollama สำหรับ embeddings ให้เก็บส่วนนั้นไว้ในเครื่อง
ค่าใช้จ่าย: เมื่อไหร่ที่แบบโฮสต์จึงจะคุ้มกว่า
การรันในเครื่องไม่ใช่เรื่องฟรี GPU ที่รันโมเดลขนาดกลางมีราคาในการซื้อ ใช้พลังงาน และอยู่ในสถานะว่างระหว่างคำขอ API แบบโฮสต์เรียกเก็บเฉพาะโทเคน ดังนั้นการใช้งานที่ต่ำและมีความผันผวนจึงทำให้การใช้บริการโฮสต์คุ้มค่ากว่าอย่างชัดเจน
ตัวอย่างการคำนวณ: แอปแชทที่มี 5,000 คำขอต่อเดือน แต่ละรายการมี 3,000 โทเคนอินพุตและ 400 โทเคนเอาต์พุต อินพุต: 5,000 x 3,000 = 15,000,000 โทเคน หรือ 15 x $0.15 = $2.25 เอาต์พุต: 5,000 x 400 = 2,000,000 โทเคน หรือ 2 x $0.50 = $1.00 บิลรายเดือนคือ $3.25 การจราจรที่หนักและต่อเนื่องเปลี่ยนการคำนวณ และ GPU ที่มีอยู่แล้วซึ่งรันตลอด 24 ชั่วโมงอาจชนะ เปรียบเทียบกับค่าไฟฟ้าและฮาร์ดแวร์ของคุณเอง และตรวจสอบราคาปัจจุบันของผู้ให้บริการรายอื่นก่อนตัดสินใจ
เครดิตเป็นแบบเติมเงินล่วงหน้า ไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน การเติมเงินเริ่มต้นที่ $20 ถึง $500 พร้อมโบนัสตั้งแต่ $50 และคุณสามารถชำระเงินด้วยคริปโต ดู ราคา สำหรับรายละเอียด
ไฮบริดที่สมเหตุสมผลและวิธีการเริ่มต้น
คุณไม่จำเป็นต้องเลือกเพียงอย่างเดียว สามารถพัฒนาและทดลองใช้แบบส่วนตัวบน Ollama ได้ จากนั้นจึงเปลี่ยนการจราจรในสภาพแวดล้อมการผลิตให้ชี้ไปที่ URL ที่โฮสต์ไว้โดยการเปลี่ยนตัวแปรสภาพแวดล้อม คู่มือของเราเกี่ยวกับ การโฮสต์ LLM ด้วยตนเอง ระบุสิ่งที่การตั้งค่าแบบโฮสต์เองเกี่ยวข้อง และ โมเดล Ollama แบบไม่เซ็นเซอร์ ครอบคลุมตัวเลือกในเครื่องหากคุณต้องการใช้งานแบบออฟไลน์
เพื่อลองใช้เอนด์พอยต์ ให้สร้างบัญชีบน หน้าคีย์ API และรับเครดิตทดลองใช้ $0.50 ด้วยคลิกเดียว ไม่ต้องใช้บัตร ใช้ได้ 7 วัน และจำกัดเพียงหนึ่งต่อบุคคล รันพรอมต์จริงของคุณผ่านเอนด์พอยต์นี้ก่อนที่จะย้ายอะไรก็ตาม

