Ollama API เทียบ OpenRouter: แบบใดเหมาะกับคุณ

คำตอบสั้นๆ

การเปรียบเทียบ ollama api vs openrouter แท้จริงแล้วคือการเปรียบเทียบสิ่งของสองประเภทที่ต่างกัน Ollama คือโปรแกรมที่รันโมเดลแบบเปิดน้ำหนักบนเครื่องที่คุณควบคุมและเปิดใช้งานผ่าน API HTTP ในเครื่อง OpenRouter คือบริการโฮสต์ที่วางอยู่หน้าโมเดลจำนวนมากจากผู้ให้บริการหลายราย และอนุญาตให้คุณเลือกโมเดลโดยระบุชื่อผ่าน API รูปแบบ OpenAI แบบเดียว

ดังนั้นการเลือกขึ้นอยู่กับว่าคุณต้องการให้ทรัพยากรการคำนวณอยู่ที่ไหน และต้องการเข้าถึงโมเดลกี่ตัว หากคุณต้องการการอนุมานแบบออฟไลน์หรือเป็นส่วนตัวอย่างสมบูรณ์ ให้รัน Ollama หากคุณต้องการลองใช้โมเดลที่แตกต่างกันหลายตัวโดยไม่ต้องโฮสต์เอง การใช้เร้าเตอร์ก็สมเหตุสมผล หากคุณต้องการโมเดลหนึ่งตัวที่ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องกฎหมาย ผ่าน API ที่คิดราคาตามโทเคนแบบตรงไปตรงมา บริการเฉพาะทางเป็นตัวเลือกที่สาม และเว็บไซต์นี้คือหนึ่งในนั้น

เปรียบเทียบเคียงข้าง

ตารางนี้ยึดตามสิ่งที่ทราบกันโดยทั่วไปเกี่ยวกับแต่ละตัวเลือกและข้อเท็จจริงของบริการนี้ สำหรับราคาของบริการอื่น ๆ โปรดตรวจสอบหน้าราคาปัจจุบันของพวกเขา

	Ollama	OpenRouter	API นี้
ตำแหน่งการทำงาน	เครื่องหรือเซิร์ฟเวอร์ของคุณเอง	โฮสต์, เส้นทางไปยังผู้ให้บริการ	โฮสต์โดยผู้ให้บริการอิสระรายเดียว
โมเดล	โมเดลใดก็ได้ที่คุณดึงและสามารถใส่ในหน่วยความจำได้	โมเดลจำนวนมากจากผู้ขายหลายราย	โมเดลแบบเปิดน้ำหนักหนึ่งตัว, ID uncensored
รูปแบบ API	API ดั้งเดิมพร้อม /v1 สไตล์ OpenAI	รูปแบบ OpenAI	เข้ากันได้กับ OpenAI
ฮาร์ดแวร์ที่คุณต้องมี	ใช่, ขนาดตามโมเดล	ไม่	ไม่
ทำงานแบบออฟไลน์ได้	ใช่	ไม่	ไม่
การเรียกเก็บเงิน	ฮาร์ดแวร์และพลังงานของคุณ	ต่อโทเคน, แตกต่างกันตามโมเดล	$0.15 ต่อ 1M input, $0.50 ต่อ 1M output
พฤติกรรมการปฏิเสธ	ขึ้นอยู่กับโมเดลที่คุณเลือก	ขึ้นอยู่กับโมเดลและผู้ให้บริการที่คุณเลือก	ปรับแต่งให้ตอบโดยไม่ปฏิเสธสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย

เมื่อ Ollama เป็นตัวเลือกที่ดีกว่า

Ollama ชนะเสมอเมื่อ ข้อมูลต้องอยู่บนเครื่องของคุณ ไม่มีข้อมูลออกนอกคอมพิวเตอร์ ไม่มีบัญชี และใช้งานได้บนเครื่องบิน นอกจากนี้ยังเป็นสถานที่ที่ดีที่สุดในการทดลอง: คุณสามารถดึงโมเดลแบบเปิดใหม่ได้ในไม่กี่นาที เปรียบเทียบโมเดลหลายตัวด้วยพรอมต์ของคุณเอง และทดสอบเวอร์ชันควอนไทซ์ที่พอดีกับ GPU ขนาดเล็ก

มันเข้ากันได้น้อยลงเมื่อคุณไม่สามารถจัดหาฮาร์ดแวร์ได้ โมเดลขนาดใหญ่ต้องการหน่วยความจำ GPU จริง และปริมาณงานบนแล็ปท็อปมีจำกัด การให้บริการให้ทีมจากกล่องเครื่องเดียวหมายความว่าคุณต้องรันโครงสร้างพื้นฐาน: การอัปเดต ความกดดันของหน่วยความจำ การรีสตาร์ท API ดั้งเดิมยังไม่มีระบบการตรวจสอบสิทธิ์ในตัว ดังนั้นการเปิดใช้งานมันนอกเหนือจาก localhost จำเป็นต้องมีพร็อกซีอยู่ด้านหน้า คุณสมบัติบางอย่างที่คุณอาจต้องการ เช่น บริบทยาวหรือผู้ใช้หลายคนพร้อมกัน จริงๆ แล้วเป็นคำถามเกี่ยวกับหน่วยความจำและการคิวบนกล่องเครื่องของคุณ ดังนั้นให้ทดสอบกับโหลดที่คุณคาดหวังก่อนที่จะพึ่งพาสิ่งนั้น

หากคุณอยู่ในระบบท้องถิ่น ด้าน Python จะง่าย; SDK ของ OpenAI ทำงานกับ http://localhost:11434/v1 โดยใช้สตริงใดๆ เป็นคีย์

เมื่อ OpenRouter เป็นตัวเลือกที่ดีกว่า

ตัวกระจายการรับส่งข้อมูลมีความเชี่ยวชาญในด้านการเข้าถึงที่หลากหลาย บัญชีเดียวและ API เดียวให้คุณเข้าถึงโมเดลได้หลายตัว ทำให้คุณสามารถลองใช้โมเดลที่แตกต่างกันสำหรับแต่ละงาน เปรียบเทียบคำตอบ หรือสลับไปใช้โมเดลอื่นเมื่อโมเดลหลักไม่ว่าง หากผลิตภัณฑ์ของคุณต้องการโมเดลแบบปิดเฉพาะจากซัพพลายเออร์เฉพาะ การใช้งานตัวกระจายการรับส่งข้อมูลที่มีโมเดลนั้นจะช่วยให้คุณไม่ต้องสมัครสมาชิกกับซัพพลายเออร์แต่ละรายแยกกัน

ข้อแลกเปลี่ยนต่างๆ เกิดจากการออกแบบเดียวกัน พฤติกรรมขึ้นอยู่กับโมเดลที่คุณเลือก และนโยบายเนื้อหาแตกต่างกันระหว่างโมเดลและผู้ให้บริการ ดังนั้นพรอมต์เดียวกันอาจถูกปฏิเสธในโมเดลหนึ่งแต่ได้รับคำตอบในอีกโมเดลหนึ่ง ราคาแตกต่างกันไปตามโมเดล ดังนั้นการประมาณการต้นทุนจึงต้องตรวจสอบโมเดลที่คุณใช้งาน ตรวจสอบราคาปัจจุบันและรายการโมเดลก่อนตัดสินใจ เนื่องจากข้อมูลเหล่านี้มีการเปลี่ยนแปลง

หากคุณต้องการใช้โมเดลเพียงโมเดลเดียว ความหลากหลายดังกล่าวจะไม่ได้ถูกใช้งานอย่างเต็มที่

เมื่อ API แบบไม่เซ็นเซอร์เฉพาะทางเป็นตัวเลือกที่ดีกว่า

บริการนี้มุ่งเน้นการทำงานเพียงอย่างเดียว โดยนำเสนอโมเดลแบบเปิดน้ำหนักโมเดลเดียว uncensored ซึ่งให้บริการโดยผู้ให้บริการอิสระและได้รับการปรับแต่งให้ตอบคำถามโดยไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย ข้อจำกัดที่ชัดเจนคือ เนื้อหาทางเพศที่เกี่ยวข้องกับผู้เยาว์จะไม่อนุญาตเด็ดขาด

บริการนี้เหมาะสำหรับงานนวนิยาย บทบาทสมมติ และแอปพลิเคชันคู่สนทนาสำหรับผู้ใหญ่ เครื่องมือเขียนเนื้อหา และงานวิจัยหรือการทดสอบแบบแดงทีม (red-team) ที่การปฏิเสธเนื้อหาจะขัดขวางการทำงาน เนื่องจากโมเดลไม่เปลี่ยนแปลง พฤติกรรมจึงคาดเดาได้: คุณปรับแต่งพรอมต์เพียงครั้งเดียวแทนที่จะปรับแยกตามโมเดล ราคาเป็นแบบคงที่ที่ $0.15 ต่อ 1M input tokens และ $0.50 ต่อ 1M output tokens จากเครดิตแบบเติมเงินล่วงหน้า โดยไม่มีค่าสมาชิกและไม่มีค่าใช้จ่ายสำหรับคำขอที่ล้มเหลวหรือถูกปฏิเสธ

นี่ไม่ใช่ตัวเลือกที่เหมาะสมหากคุณต้องการการสร้างภาพ เสียง หรือวิดีโอ การสร้าง embeddings หรือการปรับแต่งโมเดล (fine-tuning) เนื่องจากเป็นบริการข้อความเท่านั้น นอกจากนี้ยังไม่ใช่ตัวเลือกที่เหมาะสมหากคุณต้องการความหลากหลายของโมเดลจากซัพพลายเออร์ต่างๆ หรือหากข้อมูลของคุณไม่สามารถออกนอกเครื่องของคุณได้ ในกรณีเหล่านั้นให้ใช้เร้าเตอร์หรือเรียกใช้ Ollama

การสลับส่วนใหญ่เป็นการเปลี่ยน Base URL

ทั้งสามบริการใช้รูปแบบ chat completions แบบ OpenAI ดังนั้นชั้นการกำหนดค่าเล็กน้อยช่วยให้คุณสามารถย้ายระหว่างบริการเหล่านี้ได้ นี่คือไคลเอนต์ Python ที่อ่านค่าเป้าหมายจากตัวแปรสภาพแวดล้อม โดยตั้งค่าเริ่มต้นเป็น API นี้

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.ollamaapi.cc/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_API_KEY"),
)

resp = client.chat.completions.create(
    model=os.getenv("LLM_MODEL", "uncensored"),
    messages=[{"role": "user", "content": "Draft a short scene set in a night market."}],
    stream=False,
)
print(resp.choices[0].message.content)

เพื่อเรียกใช้สคริปต์เดียวกันกับ Ollama ให้ตั้งค่า base URL เป็น http://localhost:11434/v1 และระบุโมเดลที่คุณได้ดึงข้อมูลไว้แล้ว สำหรับตัวกระจายการรับส่งข้อมูล ให้ใช้ base URL และชื่อโมเดลจากเอกสารประกอบของตัวกระจายการรับส่งข้อมูลนั้น รูปแบบเดียวกันใน curl:

Copycurl https://api.ollamaapi.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

API แบบโฮสต์รองรับสตรีมมิง การเรียกใช้ฟังก์ชัน โหมด JSON และหน้าต่างบริบทขนาด 100,000 โทเคน quickstart จะแนะนำขั้นตอนสำหรับแต่ละฟีเจอร์

ขีดจำกัดและความแตกต่างในการดำเนินงาน

เมื่อคุณก้าวข้ามขั้นตอนต้นแบบแรก ความแตกต่างในทางปฏิบัติจะอยู่ที่ขีดจำกัดและความน่าเชื่อถือมากกว่าฟีเจอร์

เมื่อใช้ Ollama ขีดจำกัดจะเป็นของคุณ การทำงานพร้อมกันขึ้นอยู่กับจำนวนคำขอที่ฮาร์ดแวร์ของคุณสามารถรองรับได้ในเวลาเดียวกัน และความยาวของหน้าต่างบริบทคือการตั้งค่าที่คุณเลือกตามหน่วยความจำที่มีอยู่ เมื่อเครื่องทำงานหนัก คำขอจะรอคิว เมื่อเครื่องหยุดทำงาน แอปพลิเคชันของคุณก็หยุดทำงาน และการแก้ไขเป็นหน้าที่ของคุณ

เมื่อใช้ตัวกระจายการรับส่งข้อมูล ขีดจำกัดและความพร้อมใช้งานขึ้นอยู่กับโมเดลและซัพพลายเออร์ที่คุณกระจายคำขอไปยังมัน และอาจแตกต่างกันไประหว่างโมเดลแต่ละตัว อ่านเอกสารประกอบสำหรับโมเดลเฉพาะที่คุณวางแผนจะพึ่งพา

เมื่อใช้ API นี้ ขีดจำกัดจะถูกกำหนดไว้ชัดเจนและสั้นพอที่จะจำได้ คีย์แบบเต็มอนุญาตให้ทำคำขอพร้อมกันได้ 8 คำขอและ 300 คำขอต่อนาที และคีย์ทดลองอนุญาตให้ทำคำขอพร้อมกัน 2 คำขอและ 60 คำขอต่อนาที ขนาดสูงสุดของ body คือ 8 MB การใช้เกินขีดจำกัดจะส่งคืน HTTP 429 พร้อม error code rate_limited สำหรับคำขอต่อนาที หรือ concurrency สำหรับคำขอพร้อมกันมากเกินไป; การโอเวอร์โหลดชั่วคราวยังส่ง 429 พร้อม header Retry-After: 5 คำขอแบบสตรีมมิงจะครอบครองช่องการทำงานพร้อมกันจนกว่าสตรีมจะสิ้นสุด ดังนั้นสตรีมที่ยาวนานจึงนับรวมในขีดจำกัด 8 คำขอพร้อมกัน ส่วนหัวของคำตอบมี X-Balance-USD และค่าขีดจำกัด ซึ่งทำให้การตรวจสอบทำได้ง่าย

วิธีปฏิบัติในการตัดสินใจ

1. ข้อมูลต้องอยู่บนเครื่องของคุณเท่านั้นหรือไม่? ใช่ หมายถึง Ollama
2. คุณต้องการโมเดลจากซัพพลายเออร์หลายรายหรือไม่? ใช่ หมายถึงตัวกระจายการรับส่งข้อมูล
3. คุณต้องการโมเดลเดียวที่เสถียร ไม่มีการปฏิเสธเนื้อหาสำหรับการใช้งานผู้ใหญ่ที่ถูกต้องตามกฎหมาย และไม่ต้องจัดการฮาร์ดแวร์หรือไม่? ใช่ หมายถึง API เฉพาะทาง
4. คุณมีกำลังประมวลผล GPU ที่ไม่ได้ใช้งานหรือไม่? หากมี การใช้งานแบบโลคัลอาจมีต้นทุนต่ำกว่าตัวเลือกแบบโฮสต์ทั้งหมด

คุณไม่จำเป็นต้องผูกบัตร เริ่มต้นด้วยเครดิตทดลองใช้ $0.50 ซึ่งผู้ใช้ใหม่สามารถรับได้ด้วยการคลิกครั้งเดียวที่หน้า คีย์ API หลังจากเข้าสู่ระบบ ใช้ได้เป็นเวลา 7 วัน ไม่ต้องใช้บัตร รันพรอมต์จริงของคุณ ตรวจสอบผลลัพธ์ และดู ราคาต่อโทเคน ก่อนเติมเครดิต การเติมเงินเริ่มต้นที่ $20 ถึง $500 โดยบัตรเครดิตหรือคริปโต และเครดิตไม่หมดอายุ หากพรอมต์ของคุณเป็นส่วนตัวสูง โปรดจำไว้ว่าพรอมต์ที่นี่ไม่ถูกนำไปใช้ฝึกโมเดล แต่การอนุมานแบบโลคัลจะเก็บข้อมูลไว้ในเครื่องโดยไม่เชื่อมต่อกับเครือข่ายเลย

คู่มือเพิ่มเติม

• Ollama API ใน Python และทางเลือกแบบโฮสต์
• ราคาและการคิดเงิน Ollama API: ค่าใช้จ่ายในเครื่อง vs จ่ายตามโทเคน
• คู่มือคีย์ API Mistral