TH ▾

เริ่มต้นด้วยเครดิตทดลองใช้

อีเมลและรหัสผ่าน คีย์แสดงบนหน้าจอทันที

https://api.uncensoredllmhub.com/v1

ทางเลือก API Ollama: เมื่อไหร่ควรใช้เอนด์พอยต์แบบโฮสต์

ทางเลือก API Ollama มีประโยชน์เมื่อแอปของคุณขยายเกินหนึ่งเครื่อง: ผู้ใช้พร้อมกันมากขึ้น, พรอมต์ที่ยาวขึ้น หรือแล็ปท็อปที่คุณไม่อยากให้ทำงานอยู่ตลอดเวลา บทความนี้เปรียบเทียบ Ollama แบบโลคอลกับเอนด์พอยต์ OpenAI-compatible แบบโฮสต์และแสดงการเปลี่ยนแปลงโค้ดเล็กน้อยที่ต้องทำเพื่อเปลี่ยนไปใช้

อัปเดต

คอมพิวเตอร์โลคอลที่เชื่อมต่อกับเซิร์ฟเวอร์แบบโฮสต์ แสดงการเปลี่ยนจาก Ollama ไปยัง API แบบโฮสต์
แร็คเซิร์ฟเวอร์และตาชั่งที่มีเหรียญอยู่ข้างเมฆเรืองแสง เปรียบเทียบการโฮสต์เองกับ API

ประเด็นสำคัญ

  • Ollama เหมาะสมมากสำหรับงานส่วนตัว ออฟไลน์ และผู้ใช้คนเดียว; เอนด์พอยต์แบบโฮสต์จะดีกว่าเมื่อคุณต้องการความพร้อมกันและการเข้าถึงแบบเปิดตลอดเวลา
  • การเปลี่ยนใช้เพียงสองบรรทัดสำหรับแอปส่วนใหญ่: base URL และ model ID
  • บริการนี้ให้หน้าต่างบริบทขนาด 100,000 โทเคน รองรับคำขอพร้อมกัน 8 คำขอเมื่อใช้คีย์แบบเต็ม และใช้ระบบราคาแบบจ่ายตามการใช้งาน
  • เก็บ Ollama ไว้สำหรับการทดลองและใช้ API แบบโฮสต์สำหรับปริมาณการผลิต ทีมงานจำนวนมากใช้ทั้งสองอย่าง

คำตอบสั้นๆ: ใครควรเปลี่ยน

ใช้ Ollama หากคุณทำงานคนเดียว ต้องการออฟไลน์ทั้งหมด หรือชอบเลือกและเปลี่ยนน้ำหนักโมเดลด้วยตนเอง การใช้งานฟรี เป็นส่วนตัวโดยโครงสร้าง และโหมดที่เข้ากันได้กับ OpenAI ที่ /v1 ทำให้การสร้างแอปพลิเคชันทำได้ง่าย

พิจารณาตัวเลือก API Ollama เมื่อเป็นไปตามเงื่อนไขเหล่านี้: มีหลายคนหรือหลายกระบวนการเรียกใช้โมเดลพร้อมกัน คุณต้องการให้บริการทำงานต่อเนื่องแม้คอมพิวเตอร์ของคุณจะพักอยู่ พรอมต์ของคุณยาวและหน่วยความจำ GPU ไม่เพียงพอ หรือคุณใช้เวลาส่วนใหญ่ในการดูแลเซิร์ฟเวอร์มากกว่าการสร้างผลิตภัณฑ์ เอนด์พอยต์แบบโฮสต์เปลี่ยนโมเดลให้เป็น URL และคีย์ คุณสละการควบคุมน้ำหนักโมเดลเพื่อแลกกับการไม่ต้องจัดการฮาร์ดแวร์

เว็บไซต์นี้คือเอนด์พอยต์แบบโฮสต์หนึ่งแห่ง: API ข้อความที่เข้ากันได้กับ OpenAI ที่รันโมเดลแบบเปิดน้ำหนักหนึ่งตัวซึ่งปรับแต่งมาเพื่อตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ไม่ใช่ API อย่างเป็นทางการจากผู้ขายโมเดลรายใดรายหนึ่ง รายละเอียดอยู่ใน เอกสาร

Ollama ในเครื่องและเอนด์พอยต์แบบโฮสต์เปรียบเทียบกัน

หัวข้อOllama ในเครื่องเอนด์พอยต์แบบโฮสต์ที่นี่
โมเดลต้นทุนฮาร์ดแวร์และพลังงานของคุณ$0.15 ต่อ 1M โทเคนอินพุต, $0.50 ต่อ 1M โทเคนเอาต์พุต
คำขอพร้อมกันจำกัดโดย GPU และการตั้งค่าเช่นช่องคู่ขนานรองรับคำขอพร้อมกัน 8 คำขอเมื่อใช้คีย์แบบเต็ม
บริบทตั้งค่าต่อโมเดล; จำกัดโดย VRAM100,000 โทเคน, พรอมต์รวมกับผลลัพธ์
ความพร้อมใช้งานตราบใดที่เครื่องของคุณยังเปิดอยู่เข้าถึงได้เสมอผ่าน HTTPS
ความเป็นส่วนตัวข้อมูลไม่ออกจากเครื่องเลยพรอมต์ไม่ถูกใช้ในการฝึกฝน
การเลือกโมเดลโมเดลใดๆ ที่คุณสามารถดาวน์โหลดและติดตั้งได้หนึ่งโมเดล, ID uncensored
การตั้งค่าติดตั้ง ดึงโมเดล ปรับแต่งสร้างคีย์ API ตั้งค่า Base URL

แถวสุดท้ายของความเป็นส่วนตัวต้องการความตรงไปตรงมา การทำงานในเครื่องมีความแข็งแกร่งกว่าในประเด็นนั้น หากเอกสารต้องไม่ออกจากเครือข่ายของคุณ ให้รันในเครื่อง หากต้องการเพียงให้พรอมต์ไม่ถูกนำไปใช้ในชุดข้อมูลฝึกของใคร บริการแบบโฮสต์ที่ระบุว่าทำเช่นนั้นได้ก็ยอมรับได้ในหลายโปรเจกต์

ความพร้อมใช้งานพร้อมกันและเวลาทำงาน

Ollama สามารถให้บริการคำขอแบบขนานได้ แต่ปริมาณงานที่ส่งผ่านได้ถูกจำกัดโดย GPU ของคุณ เมื่อมีการเรียกใช้งานหลายรายการพร้อมกัน ความเร็วของแต่ละรายการจะลดลง และการเรียกใช้งานที่ต้องสลับโมเดลอาจทำให้คิวหยุดชะงัก สำหรับนักพัฒนาคนเดียวเรื่องนี้มักไม่สำคัญ แต่สำหรับบอทที่มีแชทเปิดไว้ยี่สิบแชท เรื่องนี้สำคัญ

ด้วยคีย์เต็มคุณจะได้รับคำขอพร้อมกัน 8 รายการและ 300 คำขอต่อนาที คีย์ทดลองได้รับ 2 และ 60 เมื่อเกินขีดจำกัด API จะตอบกลับด้วย HTTP 429: รหัสข้อผิดพลาด rate_limited หมายถึงเกินจำนวนต่อนาที concurrency หมายถึงเกินจำนวนพร้อมกัน และส่วนหัว Retry-After: 5 บ่งชี้การโอเวอร์โหลดชั่วคราว ไคลเอนต์ของคุณควรรอและลองใหม่ คำขอแบบสตรีมมิงจะยึดสล็อตไว้จนกว่าสตรีมจะจบ ดังนั้นให้ปิดสตรีมที่คุณไม่ได้ใช้อีกต่อไป

ผมไม่อ้างอิงเปอร์เซ็นต์เวลาทำงานเนื่องจากไม่มีข้อมูลเผยแพร่สำหรับบริการนี้ หากเวลาทำงานเป็นข้อกำหนดสำคัญ ให้ทดสอบด้วยปริมาณการจราจรของคุณในช่วงทดลองใช้และเตรียมแผนสำรองไว้

ความยาวของบริบทและหน่วยความจำ

หน้าต่างบริบทคือจุดที่การตั้งค่าในเครื่องรู้สึกถึงแรงกดดัน แคชแบบคีย์-ค่าจะขยายตามทุกโทเคน ดังนั้นพรอมต์ที่ยาวจึงแข่งขันกับน้ำหนักโมเดลเพื่อใช้หน่วยความจำ GPU Ollama ช่วยให้คุณเพิ่มหน้าต่างบริบทต่อโมเดลได้ แต่หน้าต่างที่กว้างกว่าบนการ์ดจอสำหรับผู้ใช้ทั่วไปมักหมายถึงโมเดลที่มีขนาดเล็กลงหรือมีการบีบอัดข้อมูลมากขึ้น

ที่นี่หน้าต่างมีขนาด 100,000 โทเคน และการสร้างผลลัพธ์สามารถใช้สิ่งที่เหลืออยู่ของหน้าต่างนั้นได้ ดังนั้น max_tokens จึงเป็นตัวเลือก ค่านี้เพียงพอสำหรับเอกสารยาวพร้อมคำตอบยาว หรือประวัติบทบาทสมมติที่ดำเนินไปหลายชั่วโมง อินพุตขนาดใหญ่มีราคา ซึ่งคุณสามารถคำนวณได้แม่นยำ: พรอมต์ 60,000 โทเคนมีราคา 60,000 / 1,000,000 x $0.15 = $0.009 และคำตอบ 2,000 โทเคนมีราคา 2,000 / 1,000,000 x $0.50 = $0.001 การเรียกใช้งานเอกสารยาวหนึ่งครั้งมีค่าใช้จ่ายใกล้เคียงหนึ่งเซ็นต์

สิ่งที่เปลี่ยนแปลงในโค้ดของคุณ

หากคุณเรียกใช้ Ollama ผ่านเส้นทางที่เข้ากันได้กับ OpenAI อยู่แล้ว คุณเปลี่ยน Base URL คีย์ และชื่อโมเดลเท่านั้น ไม่มีอะไรอื่น

from openai import OpenAI

# Before: local Ollama
# client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
# model = "llama3"

# After: hosted endpoint
client = OpenAI(base_url="https://api.uncensoredllmhub.com/v1", api_key="YOUR_KEY")

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise the plot of Hamlet in three sentences."}],
)
print(r.choices[0].message.content)

สตรีมมิงทำงานในลักษณะเดียวกัน ตัวอย่าง Node.js นี้ใช้แพ็กเกจ OpenAI อย่างเป็นทางการ

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.uncensoredllmhub.com/v1",
  apiKey: process.env.LLM_KEY,
});

const stream = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Write a limerick about servers." }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? "");
}

หากคุณใช้เส้นทาง /api/chat ดั้งเดิมของ Ollama คุณต้องแก้ไขเล็กน้อยให้เป็นรูปแบบการสนทนา โดยส่วนใหญ่เป็นการเปลี่ยนชื่อฟิลด์ การเรียกใช้เครื่องมือ (tools, tool_choice), โหมด JSON (response_format) และพารามิเตอร์การสุ่มตัวอย่างได้รับการรองรับ เอนด์พอยต์ที่มีอยู่คือ POST /v1/chat/completions, POST /v1/responses และ GET /v1/models ไม่มีเอนด์พอยต์ embeddings ดังนั้นหากแอปของคุณใช้ Ollama สำหรับ embeddings ให้เก็บส่วนนั้นไว้ในเครื่อง

ค่าใช้จ่าย: เมื่อไหร่ที่แบบโฮสต์จึงจะคุ้มกว่า

การรันในเครื่องไม่ใช่เรื่องฟรี GPU ที่รันโมเดลขนาดกลางมีราคาในการซื้อ ใช้พลังงาน และอยู่ในสถานะว่างระหว่างคำขอ API แบบโฮสต์เรียกเก็บเฉพาะโทเคน ดังนั้นการใช้งานที่ต่ำและมีความผันผวนจึงทำให้การใช้บริการโฮสต์คุ้มค่ากว่าอย่างชัดเจน

ตัวอย่างการคำนวณ: แอปแชทที่มี 5,000 คำขอต่อเดือน แต่ละรายการมี 3,000 โทเคนอินพุตและ 400 โทเคนเอาต์พุต อินพุต: 5,000 x 3,000 = 15,000,000 โทเคน หรือ 15 x $0.15 = $2.25 เอาต์พุต: 5,000 x 400 = 2,000,000 โทเคน หรือ 2 x $0.50 = $1.00 บิลรายเดือนคือ $3.25 การจราจรที่หนักและต่อเนื่องเปลี่ยนการคำนวณ และ GPU ที่มีอยู่แล้วซึ่งรันตลอด 24 ชั่วโมงอาจชนะ เปรียบเทียบกับค่าไฟฟ้าและฮาร์ดแวร์ของคุณเอง และตรวจสอบราคาปัจจุบันของผู้ให้บริการรายอื่นก่อนตัดสินใจ

เครดิตเป็นแบบเติมเงินล่วงหน้า ไม่หมดอายุ และคำขอที่ล้มเหลวหรือถูกปฏิเสธจะไม่ถูกเรียกเก็บเงิน การเติมเงินเริ่มต้นที่ $20 ถึง $500 พร้อมโบนัสตั้งแต่ $50 และคุณสามารถชำระเงินด้วยคริปโต ดู ราคา สำหรับรายละเอียด

ไฮบริดที่สมเหตุสมผลและวิธีการเริ่มต้น

คุณไม่จำเป็นต้องเลือกเพียงอย่างเดียว สามารถพัฒนาและทดลองใช้แบบส่วนตัวบน Ollama ได้ จากนั้นจึงเปลี่ยนการจราจรในสภาพแวดล้อมการผลิตให้ชี้ไปที่ URL ที่โฮสต์ไว้โดยการเปลี่ยนตัวแปรสภาพแวดล้อม คู่มือของเราเกี่ยวกับ การโฮสต์ LLM ด้วยตนเอง ระบุสิ่งที่การตั้งค่าแบบโฮสต์เองเกี่ยวข้อง และ โมเดล Ollama แบบไม่เซ็นเซอร์ ครอบคลุมตัวเลือกในเครื่องหากคุณต้องการใช้งานแบบออฟไลน์

เพื่อลองใช้เอนด์พอยต์ ให้สร้างบัญชีบน หน้าคีย์ API และรับเครดิตทดลองใช้ $0.50 ด้วยคลิกเดียว ไม่ต้องใช้บัตร ใช้ได้ 7 วัน และจำกัดเพียงหนึ่งต่อบุคคล รันพรอมต์จริงของคุณผ่านเอนด์พอยต์นี้ก่อนที่จะย้ายอะไรก็ตาม

ถาม-ตอบ

API แบบโฮสต์เข้ากันได้กับเอนด์พอยต์ OpenAI ของ Ollama หรือไม่?

ทั้งสองรูปแบบปฏิบัติตามรูปแบบ chat completions ของ OpenAI ดังนั้นโค้ดที่เขียนสำหรับเส้นทาง /v1 ของ Ollama โดยทั่วไปจึงต้องการเพียง base URL, คีย์ และ model ID ใหม่

ฉันสามารถใช้ API ดั้งเดิมของ Ollama กับบริการนี้ได้หรือไม่?

ไม่ ใช้เส้นทางสไตล์ OpenAI: /v1/chat/completions, /v1/responses และ /v1/models

ฉันสามารถรันโมเดลตามที่ต้องการได้หรือไม่?

ไม่ได้ บริการรันโมเดลแบบเปิดน้ำหนักเพียงตัวเดียว โดยเลือกด้วย ID uncensored หากคุณต้องการเลือกน้ำหนักด้วยตนเอง ให้ใช้ Ollama ต่อไป

รองรับ embeddings หรือไม่?

ไม่ รองรับเฉพาะการสร้างข้อความ ดังนั้นให้ใช้โมเดล embedding ในเครื่องหรือแยกต่างหากหากคุณต้องการ

คีย์ของคุณอยู่ห่างแค่ขั้นตอนเดียว

สร้างบัญชี คัดลอกคีย์ และเปลี่ยน base URL นั่นคือการตั้งค่าทั้งหมด

รับคีย์ API

https://api.uncensoredllmhub.com/v1