Ollama API vs OpenRouter: Hangisi Size Uygun

Kısa cevap

ollama api vs openrouter karşılaştırması aslında iki farklı türdeki şeyin karşılaştırmasıdır. Ollama, açık ağırlıklı modelleri kontrol ettiğiniz bir makinede çalıştıran ve bunları yerel bir HTTP API'si üzerinden sunan bir programdır. OpenRouter ise birçok sağlayıcıdan birçok modelin önünde duran ve tek bir OpenAI tarzı API üzerinden bir modeli adıyla seçmenizi sağlayan barındırılan bir hizmettir.

Yani seçim, hesaplama gücünün nerede çalışmasını istediğinize ve kaç farklı modele erişmek istediğinize bağlıdır. Çevrimdışı veya tamamen özel çıkarım istiyorsanız Ollama'yı çalıştırın. Herhangi birini barındırmadan birçok farklı modeli denemek istiyorsanız bir yönlendirici mantıklıdır. Eğer amacınız, yasal yetişkin kullanımı için içerik reddi olmadan yanıt veren, düz bir token başı ödeme API'sinin arkasında tek bir modele sahip olmaksa, özel bir hizmet üçüncü bir seçenektir ve bu site bir tanesidir.

Yan yana

Bu tablo, her seçenek hakkında halka açık olarak bilinenler ve bu hizmetin gerçekleri ile sınırlıdır. Diğer herhangi bir hizmetin fiyatları için mevcut fiyatlandırma sayfalarını kontrol edin.

	Ollama	OpenRouter	Bu API
Nerede çalışır	Kendi makineniz veya sunucunuz	Barındırılan, sağlayıcılara yönlendirir	Barındırılan, bağımsız bir sağlayıcı
Modeller	Çekebileceğiniz ve belleğe sığdırabileceğiniz herhangi bir model	Birçok satıcıdan birçok model	Tek bir açık ağırlıklı model, ID uncensored
API stili	Yerel API ve OpenAI tarzı /v1	OpenAI tarzı	OpenAI uyumlu
Sizin tarafınızdan gereken donanım	Evet, modele göre boyutlandırılır	Hayır	Hayır
Çevrimdışı çalışır	Evet	Hayır	Hayır
Faturalandırma	Donanımınız ve kaynak maliyetiniz	Token başına, modele göre değişir	1M giriş için $0,15, 1M çıkış için $0,50
Reddetme davranışı	Seçtiğiniz modele bağlıdır	Seçtiğiniz modele ve sağlayıcıya bağlıdır	Yasal yetişkin kullanımı için reddetme olmadan yanıt verecek şekilde ayarlanmıştır

Ollama'nın daha iyi bir seçim olduğu durumlar

Verilerin makinenizde kalması gerektiği her durumda Ollama kazanır. Bilgisayardan hiçbir şey çıkmaz, hesap gerekmez ve uçakta çalışır. Ayrıca en iyi deneyim alanıdır: dakikalar içinde yeni bir açık model çekebilir, kendi istemleriniz üzerinde birkaçını karşılaştırabilir ve küçük GPU'lara sığan nicemlenmiş sürümleri test edebilirsiniz.

Donanım sağlayamadığınızda daha zayıf bir uyum sağlar. Daha büyük modeller gerçek GPU belleği gerektirir ve dizüstü bilgisayarlarda verimlilik sınırlıdır. Bir kutudan bir ekibe hizmet vermek, artık altyapı çalıştırmanız anlamına gelir: güncellemeler, bellek baskısı, yeniden başlatmalar. Yerel API'nin yerleşik kimlik doğrulaması yoktur, bu nedenle onu localhost'un ötesine açmak için ön tarafta bir proxy gerekir. Uzun bağlamlar veya aynı anda birkaç kullanıcı gibi istediğiniz bazı özellikler, aslında kendi kutunuzdaki bellek ve kuyruk sorularıdır, bu nedenle ona güvenmeden önce beklediğiniz yük ile test edin.

Yerel olarak çalıştırdığınız sürece Python tarafı kolaydır; OpenAI SDK'sı, anahtar olarak herhangi bir dize ile http://localhost:11434/v1 adresine karşı çalışır.

OpenRouter'ın daha iyi bir seçim olduğu durumlar

Bir yönlendirici genişlik konusunda iyidir. Tek bir hesap ve tek bir API, birçok modele erişim sağlar, bu nedenle her görev için farklı bir model deneyebilir, yanıtları karşılaştırabilir veya biri mevcut olmadığında başka bir modele geri dönebilirsiniz. Ürününüzün belirli bir satıcıdan belirli bir kapalı modele ihtiyacı varsa, onu sunan bir yönlendirici, her satıcıyla ayrı ayrı kayıt olma zahmetinden kurtarır.

Bedel dengeleri aynı tasarımdan kaynaklanır. Davranış, seçtiğiniz modele bağlıdır ve içerik politikaları modeller ve sağlayıcılar arasında farklılık gösterir, bu nedenle aynı istem birinde reddedilebilir, diğerinde yanıt alabilir. Fiyatlar modele göre farklılık gösterir, bu nedenle maliyet tahmini yapmak kullandığınız modelin fiyatını kontrol etmeyi gerektirir. Taahhüt vermeden önce mevcut fiyat listesini ve model listesini kontrol edin, çünkü bunlar değişir.

Eğer sadece tek bir modele ihtiyacınız varsa, bu genişliğin çoğu kullanılmaz.

Özel bir sansürsüz API'nin daha iyi bir seçim olduğu durumlar

Bu hizmet tek bir şey yapar. Tek bir açık ağırlıklı uncensored modelini sunar, bağımsız bir sağlayıcı tarafından çalıştırılır ve yasal yetişkin kullanımı için içerik reddetmeleri olmadan yanıt verecek şekilde ayarlanmıştır. Herhangi bir model satıcısının resmi API'si değildir ve bir yönlendirici değildir. Kesin kısıt, reşit olmayanlar içeren cinsel içeriğe asla izin verilmemesidir.

Yetişkinler için kurgu, rol yapma ve arkadaş uygulamaları, yazma araçları ve ret yanıtlarının akışı bozduğu araştırma veya kırmızı takım çalışmaları için uygundur. Model altında değişmediği için davranış öngörülebilirdir: prompt'u model başına değil, bir kez ayarlarsınız. Fiyatlandırma, ön ödemeli krediden 1M giriş tokenı başı düz $0.15 ve 1M çıktı tokenı başı $0.50'dir; abonelik yoktur ve başarısız veya reddedilen istekler için ücret alınmaz.

Görüntü, ses veya video üretimi, gömme veya ince ayar gerekiyorsa yanlış bir seçenektir, çünkü yalnızca metindir. Verilerinizin kendi makinenizden çıkamaması gerekiyorsa veya farklı satıcıların modellerine ihtiyacınız varsa da yanlış bir seçenektir. Bu durumlarda bir yönlendirici kullanın veya Ollama'yı çalıştırın.

Geçiş yapmak çoğunlukla bir temel URL değişikliğidir

Üçü de OpenAI tarzı sohbet tamamlama formatını konuşur, bu nedenle küçük bir yapılandırma katmanı aralarında geçişi sağlar. Hedefi ortam değişkeninden okuyan ve varsayılan olarak bu API'ye giden bir Python istemcisi burada.

Copyimport os
from openai import OpenAI

client = OpenAI(
    base_url=os.getenv("LLM_BASE_URL", "https://api.ollamaapi.cc/v1"),
    api_key=os.getenv("LLM_API_KEY", "YOUR_API_KEY"),
)

resp = client.chat.completions.create(
    model=os.getenv("LLM_MODEL", "uncensored"),
    messages=[{"role": "user", "content": "Draft a short scene set in a night market."}],
    stream=False,
)
print(resp.choices[0].message.content)

Ollama için aynı betiği çalıştırmak için temel URL'yi http://localhost:11434/v1 olarak ayarlayın ve modeli çektiğiniz bir modele ayarlayın. Bir yönlendirici için kendi belgelerindeki temel URL'yi ve model adlarını kullanın. curl'daki aynı şekil:

Copycurl https://api.ollamaapi.cc/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"uncensored","messages":[{"role":"user","content":"Hello"}]}'

Barındırılan API, akış, fonksiyon çağırma, JSON modu ve 100.000 tokenlık bağlam penceresini destekler. hızlı başlangıç her birini adım adım anlatır.

Limitler ve operasyonel farklılıklar

İlk prototipin ötesine geçtiğinizde, pratik farklılıklar özelliklerden ziyade limitler ve güvenilirlik üzerinedir.

Ollama ile limitler size aittir. Eşzamanlılık, donanımınızın aynı anda kaç isteği sunabileceğine bağlıdır ve bağlam uzunluğu, mevcut belleğe göre seçtiğiniz bir ayardır. Kutu meşgul olduğunda istekler bekler. Çöktüğünde uygulamanız da çöker ve düzeltmek sizin işinizdir.

Bir yönlendirici ile limitler ve kullanılabilirlik, yönlendirdiğiniz modele ve sağlayıcıya bağlıdır ve bir modelden diğerine farklılık gösterebilir. Güvenmeyi planladığınız spesifik modelin dokümantasyonunu okuyun.

Bu API ile limitler sabittir ve ezberlemek için yeterince kısadır. Tam bir anahtar 8 eşzamanlı isteğe ve dakika başına 300 isteğe izin verir, bir deneme anahtarı ise 2 eşzamanlı ve dakika başına 60'a izin verir. Maksimum istek gövdesi 8 MB'tır. 8 MB'ı aşmak HTTP 429 döndürür, dakika başına istekler için rate_limited hata kodu veya aynı anda çok fazla için concurrency; geçici bir aşırı yüklenme de Retry-After: 5 başlığı ile 429 döndürür. Bir akış isteği, akış bitene kadar eşzamanlılık slotunu tutar, bu nedenle uzun akışlar 8'e karşı sayılır. Yanıt başlıkları X-Balance-USD ve limit değerlerini taşır, bu da izlemeyi basitleştirir.

Karar vermenin pratik bir yolu

1. Verilerin makinenizde kalması gerekiyor mu? Evet cevabı Ollama'yı işaret eder.
2. Birden fazla sağlayıcının modellerine mi ihtiyacınız var? Evet, bir yönlendirici anlamına gelir.
3. Yasal yetişkin kullanımı için reddetme yapmayan tek bir kararlı model ve çalıştırmak için donanım gerektirmeyen bir şey mi istiyorsunuz? Evet, özel bir API anlamına gelir.
4. Boşta kalan GPU kapasiteniz var mı? Eğer varsa, yerel çözüm herhangi bir barındırılan seçeneğe göre daha az maliyetli olabilir.

Bağlılık gerekmez. Kayıttan sonra API anahtarı sayfası üzerinde tek tıkla yeni kullanıcıların talep ettiği, 7 gün geçerli, kart gerekmeyen $0.50'lik deneme kredisi ile başlayın. Gerçek promptlarınızı çalıştırın, çıktıyı kontrol edin ve kredi eklemeye başlamadan önce token başı ödeme fiyatlandırması sayfasına bakın. Bakiye yükleme $20 ile $500 arasında değişir, kart veya kripto ile yapılır ve kredi asla sona ermez. Promptlarınız tamamen özelse, burada kullanılan promptların eğitim için kullanılmadığını unutmayın, ancak yerel çıkarım yine de bunları ağdan tamamen izole tutar.

Daha fazla kılavuz

• Python ile Ollama API'si ve Barındırılan Bir Alternatif
• Ollama API Fiyatlandırması: Yerel Maliyet vs Token Başı Ödeme
• Mistral API Anahtarı Rehberi