Ollama API vs OpenRouter: Cái nào phù hợp với bạn

Câu trả lời ngắn

So sánh ollama api vs openrouter thực chất là so sánh hai loại khác nhau. Ollama là chương trình chạy các mô hình trọng số mở trên máy bạn kiểm soát và cung cấp qua API HTTP cục bộ. OpenRouter là dịch vụ lưu trữ đứng trước nhiều mô hình từ nhiều nhà cung cấp, cho phép bạn chọn một mô hình theo tên thông qua một API kiểu OpenAI.

Vì vậy, sự lựa chọn phụ thuộc vào nơi bạn muốn tính toán diễn ra và số lượng mô hình bạn muốn truy cập. Nếu bạn cần suy luận ngoại tuyến hoặc hoàn toàn riêng tư, hãy chạy Ollama. Nếu bạn muốn thử nhiều mô hình khác nhau mà không cần lưu trữ bất kỳ cái nào, một router là hợp lý. Nếu những gì bạn muốn là một mô hình trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp, phía sau một API trả tiền theo token đơn giản, một dịch vụ chuyên biệt là một lựa chọn thứ ba, và trang web này là một trong số đó.

Bên cạnh nhau

Bảng này chỉ đề cập đến những gì đã được công khai về từng lựa chọn và thông tin thực tế về dịch vụ này. Để biết giá của bất kỳ dịch vụ nào khác, hãy kiểm tra trang giá hiện tại của họ.

	Ollama	OpenRouter	API này
Nơi chạy	Máy hoặc máy chủ của bạn	Lưu trữ, định tuyến đến các nhà cung cấp	Lưu trữ, một nhà cung cấp độc lập
Mô hình	Bất kỳ mô hình nào bạn tải về và có thể vừa với bộ nhớ	Nhiều mô hình từ nhiều nhà cung cấp	Một mô hình trọng số mở, ID uncensored
Kiểu API	API gốc cộng với giao diện /v1 kiểu OpenAI	Kiểu OpenAI	Tương thích OpenAI
Phần cứng bạn cần	Có, kích thước phù hợp với mô hình	Không	Không
Hoạt động ngoại tuyến	Có	Không	Không
Thanh toán	Phần cứng và điện năng của bạn	Theo token, thay đổi theo mô hình	$0.15 cho mỗi 1M token đầu vào, $0.50 cho mỗi 1M token đầu ra
Hành vi từ chối	Tùy thuộc vào mô hình bạn chọn	Tùy thuộc vào mô hình và nhà cung cấp bạn chọn	Được tinh chỉnh để trả lời mà không từ chối cho người trưởng thành sử dụng hợp pháp

Khi nào Ollama là lựa chọn tốt hơn

Ollama chiến thắng bất cứ khi nào dữ liệu phải ở lại trên máy của bạn. Không có gì rời khỏi máy tính, không có tài khoản, và nó hoạt động ở chế độ máy bay. Nó cũng là nơi tốt nhất để thử nghiệm: bạn có thể kéo một mô hình mở mới trong vài phút, so sánh một vài mô hình trên các prompt của riêng bạn và kiểm tra các phiên bản lượng tử hóa vừa với GPU nhỏ.

Nó phù hợp kém hơn khi bạn không thể cung cấp phần cứng. Các mô hình lớn cần bộ nhớ GPU thực sự, và thông lượng trên máy tính xách tay bị giới hạn. Phục vụ một nhóm từ một máy có nghĩa là bạn hiện đang chạy cơ sở hạ tầng: cập nhật, áp lực bộ nhớ, khởi động lại. API gốc cũng không có xác thực tích hợp, vì vậy việc tiếp xúc nó vượt ra ngoài localhost cần một proxy ở phía trước. Một số tính năng bạn có thể muốn, chẳng hạn như ngữ cảnh dài hoặc nhiều người dùng cùng lúc, thực sự là những câu hỏi về bộ nhớ và xếp hàng trên máy của bạn, vì vậy hãy kiểm tra với tải mà bạn mong đợi trước khi dựa vào nó.

Nếu bạn giữ ở chế độ cục bộ, phần Python rất dễ dàng; SDK OpenAI hoạt động với http://localhost:11434/v1 với bất kỳ chuỗi nào làm khóa.

Khi nào OpenRouter là lựa chọn tốt hơn

Một bộ định tuyến rất tốt về phạm vi. Một tài khoản và một API cung cấp cho bạn quyền truy cập vào nhiều mô hình, vì vậy bạn có thể thử một mô hình khác nhau cho mỗi nhiệm vụ, so sánh câu trả lời hoặc chuyển sang mô hình khác khi một mô hình không khả dụng. Nếu sản phẩm của bạn cần một mô hình đóng cụ thể từ một nhà cung cấp cụ thể, bộ định tuyến cung cấp nó sẽ giúp bạn không phải đăng ký với từng nhà cung cấp riêng biệt.

Các sự đánh đổi bắt nguồn từ cùng một thiết kế. Hành vi phụ thuộc vào mô hình bạn chọn, và các chính sách nội dung khác nhau giữa các mô hình và nhà cung cấp, vì cùng một prompt có thể bị từ chối trên một cái và được trả lời trên cái khác. Giá khác nhau theo mô hình, vì vậy việc dự báo chi phí có nghĩa là tra cứu mô hình bạn sử dụng. Kiểm tra giá và danh sách mô hình hiện tại của họ trước khi cam kết, vì những thứ đó thay đổi.

Nếu bạn chỉ cần một mô hình, phần lớn phạm vi đó sẽ không được sử dụng.

Khi nào API không kiểm duyệt chuyên dụng là lựa chọn tốt hơn

Dịch vụ này làm một việc. Nó cung cấp một mô hình trọng số mở, uncensored, được chạy bởi một nhà cung cấp độc lập và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người lớn hợp pháp. Nó không phải là API chính thức của bất kỳ nhà cung cấp mô hình nào và không phải là một router. Giới hạn cứng là nội dung tình dục liên quan đến người chưa thành niên không bao giờ được phép.

Nó phù hợp cho tiểu thuyết, nhập vai và ứng dụng bạn đồng hành cho người lớn, công cụ viết và nghiên cứu hoặc công việc kiểu đội đỏ nơi các từ chối làm gián đoạn luồng. Vì mô hình không bao giờ thay đổi dưới bạn, hành vi có thể dự đoán được: bạn tinh chỉnh prompt một lần thay vì cho mỗi mô hình. Giá là $0.15 cố định cho mỗi 1M token đầu vào và $0.50 cho mỗi 1M token đầu ra từ tín dụng trả trước, không có đăng ký và không tính phí cho các yêu cầu thất bại hoặc bị từ chối.

Nó là lựa chọn sai nếu bạn cần tạo hình ảnh, âm thanh hoặc video, embedding hoặc tinh chỉnh, vì nó chỉ dành cho văn bản. Nó cũng là lựa chọn sai nếu bạn cần lựa chọn các mô hình của nhiều nhà cung cấp hoặc nếu dữ liệu của bạn không thể rời khỏi máy của bạn. Trong những trường hợp đó, hãy sử dụng bộ định tuyến hoặc chạy Ollama.

Chuyển đổi chủ yếu là thay đổi Base URL

Cả ba đều hỗ trợ định dạng chat completions kiểu OpenAI, vì vậy một lớp cấu hình nhỏ cho phép bạn chuyển đổi giữa chúng. Dưới đây là một máy khách Python đọc mục tiêu từ môi trường, mặc định là API này.

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.ollamaapi.cc/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_API_KEY"),
)

resp = client.chat.completions.create(
    model=os.getenv("LLM_MODEL", "uncensored"),
    messages=[{"role": "user", "content": "Draft a short scene set in a night market."}],
    stream=False,
)
print(resp.choices[0].message.content)

Để chạy cùng một tập lệnh với Ollama, hãy đặt URL cơ sở thành http://localhost:11434/v1 và mô hình thành một cái bạn đã tải về. Đối với một router, hãy sử dụng URL cơ sở và tên mô hình từ tài liệu của riêng nó. Cùng một hình dạng trong curl:

Copycurl https://api.ollamaapi.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

API lưu trữ hỗ trợ truyền phát, gọi công cụ, chế độ JSON và cửa sổ ngữ cảnh 100.000 token. quickstart đi qua từng cái.

Giới hạn và khác biệt vận hành

Khi bạn vượt qua nguyên mẫu đầu tiên, những khác biệt thực tế là về giới hạn và độ tin cậy hơn là tính năng.

Với Ollama, các giới hạn thuộc về bạn. Tính đồng thời phụ thuộc vào số lượng yêu cầu mà phần cứng của bạn có thể phục vụ cùng lúc, và độ dài ngữ cảnh là cài đặt bạn chọn dựa trên bộ nhớ khả dụng. Khi máy bận, các yêu cầu chờ đợi. Khi nó ngừng hoạt động, ứng dụng của bạn cũng ngừng hoạt động và việc khắc phục là trách nhiệm của bạn.

Với bộ định tuyến, giới hạn và khả năng sẵn sàng phụ thuộc vào mô hình và nhà cung cấp bạn định tuyến đến, và chúng có thể khác nhau từ mô hình này sang mô hình khác. Hãy đọc tài liệu cho mô hình cụ thể bạn dự định dựa vào.

Với API này, các giới hạn được cố định và đủ ngắn để ghi nhớ. Khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút, và khóa dùng thử cho phép 2 yêu cầu đồng thời và 60 mỗi phút. Kích thước tối đa của thân yêu cầu là 8 MB. Vượt quá sẽ trả về HTTP 429, với mã lỗi rate_limited cho yêu cầu mỗi phút hoặc concurrency cho quá nhiều cùng lúc; quá tải tạm thời cũng trả về 429 với tiêu đề Retry-After: 5. Một yêu cầu truyền phát giữ slot đồng thời của nó cho đến khi luồng kết thúc, vì vậy các luồng dài tính vào giới hạn 8. Các tiêu đề phản hồi mang X-Balance-USD và các giá trị giới hạn, giúp giám sát đơn giản.

Cách thực tế để ra quyết định

1. Dữ liệu có phải ở lại trên máy của bạn không? Có nghĩa là Ollama.
2. Bạn có cần các mô hình của nhiều nhà cung cấp không? Có nghĩa là bộ định tuyến.
3. Bạn có muốn một mô hình ổn định duy nhất không có từ chối cho mục đích người lớn hợp pháp, và không cần phần cứng để chạy? Có nghĩa là một API chuyên biệt.
4. Bạn có sở hữu dung lượng GPU nhàn rỗi? Nếu vậy, suy luận cục bộ có thể rẻ hơn bất kỳ tùy chọn lưu trữ nào.

Bạn không phải cam kết. Bắt đầu với dùng thử $0.50, mà người dùng mới yêu cầu bằng một cú nhấp chuột trên trang khóa API sau khi đăng ký, có giá trị trong 7 ngày, không cần thẻ. Chạy các prompt thực của bạn, kiểm tra kết quả đầu ra và xem giá theo token trước khi thêm tín dụng. Nạp tiền chạy từ $20 đến $500, bằng thẻ hoặc tiền mã hóa, và tín dụng không bao giờ hết hạn. Nếu các prompt của bạn là riêng tư nghiêm ngặt, hãy nhớ rằng các prompt ở đây không được sử dụng để huấn luyện, nhưng suy luận cục bộ vẫn giữ chúng hoàn toàn ngoài mạng.

Hướng dẫn khác

• API Ollama trong Python và một giải pháp thay thế dạng lưu trữ
• Bảng giá Ollama API: Chi phí cục bộ so với trả theo token
• Hướng dẫn Khóa API Mistral