Hướng dẫn nhanh cho người dùng Ollama

Yêu cầu tiên quyết

Để sử dụng API này, bạn cần một tài khoản hoạt động với khóa API hợp lệ. Đăng ký trên trang Lấy khóa API bằng Google hoặc email và mật khẩu. Không cần số điện thoại. Bạn cũng cần cài đặt SDK ngôn ngữ được hỗ trợ trên máy của mình. Hướng dẫn này bao gồm Python và Node.js, các client phổ biến nhất cho các endpoint tương thích OpenAI. API phục vụ một mô hình không kiểm duyệt duy nhất được xác định bởi uncensored. Nó chấp nhận văn bản và trả về văn bản. Không có tính năng embedding, hình ảnh hoặc âm thanh. Tất cả yêu cầu đều gửi đến https://api.ollamaapi.cc/v1.

Cài đặt SDK

Cài đặt SDK chính thức cho ngôn ngữ bạn chọn. Với Python, hãy dùng pip. Với Node.js, hãy dùng npm. Các thư viện này xử lý giao thức HTTP, tuần tự hóa JSON và truyền phát tự động. Bạn không cần viết các yêu cầu HTTP thô trừ khi bạn thích mức độ kiểm soát đó. Các SDK được tài liệu hóa tốt và được sử dụng rộng rãi trong môi trường sản xuất. Đảm bảo môi trường của bạn khớp với yêu cầu của SDK. Khuyến nghị Python 3.8+ và Node.js 18+. Giữ các phụ thuộc của bạn cập nhật để tránh các vấn đề tương thích với các tham số mô hình mới hơn.

Cấu hình máy khách

Đặt URL cơ sở thành endpoint của chúng tôi. Đây là thay đổi cấu hình duy nhất cần thiết để chuyển từ OpenAI sang dịch vụ không kiểm duyệt của chúng tôi. Truyền khóa API của bạn dưới dạng tiêu đề xác thực. SDK sẽ xử lý phần còn lại. Không thay đổi tên mô hình thành gpt-4 hoặc tương tự; hãy dùng uncensored. API tuân thủ nghiêm ngặt giao thức chat-completions của OpenAI. Bất kỳ client nào hoạt động với OpenAI đều sẽ hoạt động ở đây với hai thay đổi này. Điều này giúp việc di chuyển hoặc kiểm tra A/B trở nên đơn giản. Bạn có thể chạy cả hai API song song để so sánh kết quả đầu ra.

Gửi yêu cầu đầu tiên

Gửi yêu cầu POST đến /v1/chat/completions. Bao gồm ID mô hình, prompt hệ thống và tin nhắn của người dùng. API trả về phản hồi dạng văn bản. Nếu bạn có tín dụng, yêu cầu sẽ thành công. Nếu thiếu tín dụng, bạn sẽ nhận lỗi 402. Nếu khóa không hợp lệ, bạn sẽ nhận lỗi 401. Các lỗi này là tiêu chuẩn và dễ xử lý trong mã. Mô hình không từ chối nội dung người lớn hợp pháp, rất hữu ích cho viết sáng tạo, nghiên cứu bảo mật hoặc trò chuyện không kiểm duyệt. Kiểm tra số dư trên bảng điều khiển nếu bạn không chắc về tín dụng còn lại.

Phản hồi truyền phát

Bật truyền phát bằng cách đặt stream: true. API trả về các token khi chúng được tạo. Điều này giảm độ trễ cảm nhận đối với người dùng. Chunk cuối cùng chứa tổng mức sử dụng token để tính phí. Truyền phát được hỗ trợ bởi tất cả các SDK chính thức. Nó rất quan trọng cho các giao diện trò chuyện nơi bạn muốn hiển thị văn bản khi nó được viết. Máy chủ gửi các Sự kiện được gửi bởi Máy chủ (SSE). Thư viện client của bạn xử lý việc phân tích cú pháp. Bạn không cần quản lý luồng sự kiện thủ công trừ khi bạn đang xây dựng một client tùy chỉnh.

Giới hạn, Lỗi và Ngữ cảnh

Cửa sổ ngữ cảnh có tổng cộng 100.000 token, với tối đa 32.000 token đầu ra. Các yêu cầu bị giới hạn ở 300 mỗi phút và 8 yêu cầu đồng thời mỗi khóa. Thân yêu cầu phải dưới 8 MB. Lỗi bao gồm 401 cho khóa không hợp lệ, 402 cho tín dụng không đủ và 429 cho giới hạn tốc độ. Đây là các mã HTTP tiêu chuẩn. Hãy xử lý chúng một cách tinh tế trong ứng dụng của bạn. Mô hình chặn nội dung tình dục liên quan đến trẻ vị thành niên. Tất cả nội dung khác đều được phép. Tín dụng không bao giờ hết hạn, vì vậy bạn có thể tạm dừng sử dụng mà không mất tiền. Sử dụng trang hỗ trợ cho các vấn đề hoàn tiền.

cURL

Copycurl https://api.ollamaapi.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Write a blunt product review of a cheap VPN."}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.ollamaapi.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.ollamaapi.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Truyền phát

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)