Felo OpenAPI vs LiteLLM

Giá niêm yết của nhà cung cấp, đặt cạnh mức giá Felo

LiteLLM không bán lại token: nó chuyển tiếp lệnh gọi của bạn tới nhà cung cấp bằng key của chính bạn, nên bạn trả đúng giá niêm yết của từng nhà. Felo công bố mức giá cho từng tuyến, và mức thấp nhất bắt đầu từ ⁦10⁩% của chính giá niêm yết đó.

Với ⁦GPT-6.1 Terra⁩, 100 triệu token đầu vào và 10 triệu token đầu ra tốn ⁦$150⁩ theo giá niêm yết — còn ở đây là ⁦$30⁩.

Những gì bạn không phải tự vận hành

Proxy LiteLLM là hạ tầng: phải triển khai, vá lỗi và giữ nó luôn chạy, với key của các nhà cung cấp nằm bên trong.

• Bản thân proxy — Docker, Kubernetes hoặc Helm, phía sau là Postgres.
• Một bản sao của từng key nhà cung cấp, giữ trong gateway và luân chuyển tại đó.
• Nâng cấp, di trú và lịch trực đi kèm việc vận hành một dịch vụ.

Felo là cách sắp xếp khác: một base URL và một key, còn gateway do chúng tôi vận hành.

Phần mà một gateway mô hình không có: danh mục ⁦5,000+⁩ API

LiteLLM định tuyến các lệnh gọi mô hình. Felo định tuyến chúng và còn trả lời từ một lớp dữ liệu: ⁦5,000+⁩ API trên cùng key — tìm kiếm, đọc trang và tài liệu, slide và lượt chạy agent.

Một agent biết tra cứu, đọc, ghi nhớ và bàn giao — không cần nhà cung cấp thứ hai.

Hai cách chuyển

Giữ LiteLLM làm gateway và trỏ upstream về Felo, hoặc bỏ gateway và gọi thẳng Felo. Phần thân yêu cầu không đổi trong cả hai cách.

# config.yaml — keep LiteLLM, add Felo as upstream
model_list:
  - model_name: <model-id>
    litellm_params:
      model: openai/<model-id>
      api_base: https://openapi.felo.ai/api/v1
      api_key: os.environ/FELO_API_KEY

# or drop the proxy and call Felo directly:
client = OpenAI(base_url="https://openapi.felo.ai/api/v1", api_key=key)

ID mô hình ở hai danh mục khác nhau, nên hãy xem trang mô hình để lấy ID chính xác trước khi đổi base URL.

LiteLLM và Felo trong ba dòng

Thay thế LiteLLM: vài câu hỏi trước khi chuyển