Giá API Ollama: Chi phí cục bộ so với trả theo token

Ý nghĩa thực sự của "giá API Ollama"

Khi người dùng gõ ollama api pricing vào ô tìm kiếm, họ thường đang tìm bảng giá, nhưng với phần mềm cục bộ thì không có bảng giá nào. Ollama là chương trình bạn cài đặt để chạy các mô hình trọng số mở trên máy tính của mình và cung cấp chúng qua API HTTP cục bộ. Nó không đếm token hay gửi hóa đơn cho bạn. Ollama cũng cung cấp các tùy chọn lưu trữ riêng; để biết thêm, hãy xem trang giá hiện tại của họ, vì bài viết này không đại diện cho các tùy chọn đó.

Điều đó không có nghĩa là suy luận cục bộ là miễn phí. Chi phí chuyển từ phí theo token sang những thứ bạn đã trả hoặc phải mua: một máy có đủ bộ nhớ, điện năng, thời gian của bạn để thiết lập và cập nhật, và chi phí cơ hội của một GPU đang bận rộn. Câu hỏi hữu ích không phải là "giá là bao nhiêu" mà là "ở khối lượng của tôi, phương án nào rẻ hơn và hoạt động đủ tốt". Phần còn lại của bài viết này cung cấp cho bạn các số liệu cho phía lưu trữ để bạn có thể trả lời câu hỏi đó.

Chi phí tự chạy Ollama

Có bốn dòng trong sổ sách phía cục bộ.

• Phần cứng. Các mô hình lớn hơn cần nhiều bộ nhớ GPU hơn hoặc nhiều RAM hệ thống. Nếu bạn đã sở hữu một máy phù hợp, chi phí này đã là chi phí chìm. Nếu bạn phải mua hoặc thuê một máy, đó là mục chi phí lớn nhất.
• Điện năng. Nhân công suất tiêu thụ của máy (kW) với số giờ sử dụng và tỷ lệ tiền điện của bạn. GPU máy bàn khi tải cao tiêu thụ nhiều hơn nhiều so với khi nhàn rỗi, vì vậy chỉ tính giờ bận là công bằng.
• Công suất nhàn rỗi. Một máy chủ không được sử dụng trong phần lớn thời gian trong ngày vẫn phải tồn tại. Tính phí theo token chỉ tính phí khi bạn gọi.
• Thời gian của bạn. Tải mô hình, cập nhật thời gian chạy, theo dõi bộ nhớ, khởi động lại sau khi bị lỗi.

Đo lường các số liệu của chính bạn thay vì tin tưởng một con số chung chung. Hãy ghi lại số token thực tế mà tác vụ của bạn sử dụng trong một tuần. Phép đo đó cũng là những gì bạn cần để định giá chính xác cho giải pháp lưu trữ thay thế.

Mức giá lưu trữ và phép tính

API lưu trữ trên trang này tính phí hai chỉ số. Token đầu vào (prompt của bạn, bao gồm cả lịch sử trò chuyện bạn gửi lại) tốn $0.15 cho mỗi 1 triệu. Token đầu ra (phần hoàn thành) tốn $0.50 cho mỗi 1 triệu. Không có gói đăng ký; bạn thêm tín dụng và nó sẽ bị trừ đi theo từng yêu cầu. Các yêu cầu thất bại hoặc bị từ chối sẽ không bị tính phí, và tín dụng không hết hạn.

Công thức rất ngắn gọn:

cost = input_tokens x 0.15 / 1,000,000 + output_tokens x 0.50 / 1,000,000

Dưới đây là các dạng tác vụ phổ biến với phép tính đã được thực hiện.

Nhiệm vụ	Token đầu vào	Token đầu ra	Chi phí
Một câu trả lời trò chuyện	2,000	500	$0.0003 + $0.00025 = $0.00055
1.000 phản hồi như vậy	2,000,000	500,000	$0.30 + $0.25 = $0.55
Tóm tắt một tài liệu dài	50,000	1,000	$0.0075 + $0.0005 = $0.008
Điền đầy đủ cửa sổ ngữ cảnh	100,000	4,000	$0.015 + $0.002 = $0.017
Batch gồm 10.000 yêu cầu	8,000,000	3,000,000	$1.20 + $1.50 = $2.70

Hàng batch giả định 800 token đầu vào và 300 token đầu ra cho mỗi yêu cầu. Lưu ý rằng đầu ra là chỉ số đắt đỏ hơn theo token, nhưng đầu vào thường chiếm ưu thế về số lượng, vì vậy các prompt dài và lịch sử trò chuyện dài là nơi tiền bị tiêu tốn.

Cuộc trò chuyện phát triển từng lượt

API trò chuyện không có trạng thái, vì vậy mỗi lượt gửi lại toàn bộ lịch sử. Điều này làm chi phí tăng nhanh hơn số lượt. Hãy xem xét một cuộc trò chuyện 20 lượt, trong đó mỗi tin nhắn của người dùng là 150 token và mỗi phản hồi là 250 token, vì vậy mỗi lượt thêm 400 token vào lịch sử.

1. Lượt 1 gửi 150 token đầu vào. Lượt 2 gửi 150 + 400 = 550. Lượt k gửi 150 + 400 x (k - 1).
2. Tổng cộng 20 lượt, tổng đầu vào là 150 x 20 + 400 x (0 + 1 + ... + 19) = 3.000 + 400 x 190 = 79.000 token.
3. Tổng đầu ra là 20 x 250 = 5.000 token.
4. Chi phí: 79.000 x 0.15 / 1M = $0.01185, cộng 5.000 x 0.50 / 1M = $0.0025, tổng cộng $0.01435.

Khoảng một rưỡi cent cho một cuộc trò chuyện dài. Nếu bạn nhân đôi cuộc trò chuyện lên 40 lượt, đầu vào tăng gấp bốn lần, vì lịch sử tiếp tục phát triển. Cắt ngắn hoặc tóm tắt các lượt cũ là cách chính để kiểm soát chi phí trong các ứng dụng trò chuyện.

Tín dụng, tiền thưởng và gói dùng thử

Bạn có thể nạp tiền với bất kỳ số nguyên nào từ $20 đến $500. Các khoản nạp lớn hơn có tiền thưởng: +5% từ $50, +10% từ $100 và +15% từ $200. Trên thực tế, điều đó có nghĩa là:

• $50 mua được $52,50 tín dụng.
• $100 mua được $110,00.
• $200 mua được $230,00.

Thanh toán bằng thẻ (Visa, Mastercard, Apple Pay, Google Pay) hoặc tiền mã hóa (USDT trên TRC20, USDC trên Base). Trang giá cả có chi tiết hiện tại.

Người dùng mới có thể kiểm tra trước khi trả tiền. Sau khi bạn đăng ký bằng Google hoặc bằng email và mật khẩu, trang khóa API có một nút để nhận $0.50 tín dụng dùng thử, một mỗi người, hợp lệ trong 7 ngày, không cần thẻ. Với kích thước phản hồi 2.000 đầu vào, 500 đầu ra ở trên, $0.50 bao gồm khoảng 900 phản hồi, đủ để đánh giá xem đầu ra có phù hợp với dự án của bạn hay không. Khóa dùng thử bị giới hạn ở 2 yêu cầu đồng thời và 60 yêu cầu mỗi phút. Bạn có thể lấy khóa API của mình trong vài phút.

So sánh hai phương án cho khối lượng của bạn

Sử dụng số token đã ghi lại và thực hiện tổng cộng cho một tháng. Giả sử một dự án sử dụng 50 triệu token đầu vào và 10 triệu token đầu ra mỗi tháng. Chi phí lưu trữ: 50 x $0.15 = $7,50, cộng 10 x $0.50 = $5,00, vậy $12,50. Bây giờ hãy đặt con số cục bộ của bạn bên cạnh nó: phần chi phí phần cứng hàng tháng mà bạn sẽ không sở hữu nếu không, cộng với điện năng cho các giờ bận, cộng với giá trị thời gian bảo trì của bạn. Nếu tổng đó rõ ràng cao hơn $12,50, việc lưu trữ thắng về chi phí. Nếu bạn đã sở hữu phần cứng nhàn rỗi xử lý mô hình tốt, việc cục bộ thắng về chi phí.

Chi phí không phải là trục duy nhất. Cục bộ giữ dữ liệu trên máy của bạn và hoạt động ngoại tuyến. Lưu trữ loại bỏ nhu cầu về GPU, cung cấp cửa sổ ngữ cảnh 100.000 token và cho phép nhiều dịch vụ chia sẻ một máy chủ backend. Mô hình lưu trữ là một mô hình trọng số mở đơn lẻ được tinh chỉnh để trả lời mà không từ chối nội dung cho việc sử dụng người trưởng thành hợp pháp, vì vậy nó cũng phụ thuộc vào việc mô hình đó có phù hợp với nhiệm vụ của bạn hay không. Các prompt không được sử dụng để huấn luyện.

Một hạn chế trung thực: không có gói miễn phí không giới hạn. Sau khi hết $0.50 dùng thử, bạn trả tiền theo token từ tín dụng trả trước. Nếu công việc của bạn cần các cuộc gọi miễn phí không giới hạn và bạn sở hữu phần cứng, Ollama cục bộ là công cụ phù hợp.

Những sai lầm làm sai lệch phép so sánh

Một vài lỗi xuất hiện lặp đi lặp lại khi mọi người định giá tác vụ LLM, và mỗi lỗi có thể thay đổi câu trả lời.

• Bỏ qua các token đầu ra. Một prompt ngắn với câu trả lời dài chủ yếu là hóa đơn đầu ra. Một câu hỏi 300 token tạo ra câu chuyện 3.000 token tốn 300 x $0,15 / 1M + 3.000 x $0,50 / 1M = $0,000045 + $0,0015 = $0,001545.
• Bỏ qua lịch sử được gửi lại. Như ví dụ 20 lượt cho thấy, chi phí chat tăng theo ngữ cảnh tích lũy, không theo độ dài của tin nhắn mới nhất.
• Đếm từ thay vì token. Văn bản tiếng Anh thường tốn nhiều token hơn từ một chút, và mã hoặc các ký tự không Latin tốn nhiều hơn nữa. Hãy đọc các số liệu sử dụng được trả lại với mỗi phản hồi và sử dụng những số đó, không phải ước tính.
• Định giá phần cứng cục bộ bằng không. Một GPU bạn đã sở hữu vẫn bị hao mòn và vẫn tiêu thụ điện năng, ngay cả khi bạn không viết séc cho nó.
• So sánh các mô hình khác nhau. Một mô hình cục bộ nhỏ và một mô hình lưu trữ lớn hơn không tạo ra cùng chất lượng. Rẻ hơn theo token không có nghĩa là rẻ hơn cho một câu trả lời tốt nếu bạn cần nhiều lần thử lại.

Điểm cuối cùng đáng được kiểm tra bằng thử nghiệm hơn là ý kiến. Hãy lấy hai mươi prompt thực từ dự án của bạn, chạy chúng trên cả hai cấu hình và đánh giá câu trả lời. Sau đó định giá bên thắng cuộc theo khối lượng thực của bạn.

Theo dõi chi tiêu

Mỗi phản hồi từ API lưu trữ đều có tiêu đề X-Balance-USD với tín dụng còn lại của bạn, cộng với X-Request-Id cho các câu hỏi hỗ trợ. Bạn có thể đọc nó trong mã và cảnh báo bản thân trước khi số dư cạn kiệt.

Copyimport requests

r = requests.post(
    "https://api.ollamaapi.cc/v1/chat/completions",
    headers={"Authorization": "Bearer YOUR_API_KEY"},
    json={
        "model": "uncensored",
        "messages": [{"role": "user", "content": "Say hello."}],
        "max_tokens": 20,
    },
    timeout=60,
)
print(r.json()["choices"][0]["message"]["content"])
print("Balance:", r.headers.get("X-Balance-USD"))

Việc đặt max_tokens là tùy chọn, vì một lần gọi hoàn tất có thể sử dụng phần còn lại của cửa sổ, nhưng đây là biện pháp bảo vệ rẻ tiền chống lại đầu ra không kiểm soát. Tài liệu bao gồm các tiêu đề khác và giới hạn tốc độ.

Hướng dẫn khác

• API Ollama bằng Python và một giải pháp thay thế được lưu trữ
• Ollama API so với OpenRouter: Cái nào phù hợp với bạn
• Hướng dẫn Khóa API Mistral