Web Fetch API

Web Fetch API trích xuất nội dung từ một URL đích và trả về kết quả ở định dạng dễ xử lý hơn cho agent, hệ thống RAG và các quy trình nội dung. Nó có thể trả về HTML, văn bản thuần hoặc Markdown, đồng thời hỗ trợ selector, tùy chọn readability, kiểm soát cache, user agent tùy chỉnh và cookie của yêu cầu.

Endpoint

POST https://openapi.felo.ai/v2/web/extract

Xác thực

Gửi khóa API của bạn trong header Authorization:

Authorization: Bearer YOUR_API_KEY

Xem Hướng dẫn xác thực để biết chi tiết về cách tạo và quản lý khóa API.

Dùng với AI Agent

Cài gói felo-ai đầy đủ khi bạn muốn một Agent trích xuất trang web cùng với mọi Felo Skill khác hiện có. Trình cài đặt tự động khám phá mọi thư mục gói có chứa SKILL.md, nên nó không bao giờ dựa vào một danh sách cố định. Hãy cài mọi Skill được phát hiện vào Codex ~/.codex/skills, Claude Code ~/.claude/skills, OpenClaw ~/.agents/skills hoặc Hermes Agent ~/.hermes/skills. Dùng hướng dẫn thiết lập AI Agent thủ công để biết các bước cài đặt an toàn và cấu hình khóa API cho từng nền tảng.

Yêu cầu

Header

Tham số nội dung yêu cầu

Phản hồi

Phản hồi thành công

Phản hồi dùng thiết kế chuyển tiếp minh bạch. Các trường chính xác bên trong data có thể thay đổi tùy theo output_format và các tùy chọn trích xuất khác.

{
  "status": "ok",
  "message": null,
  "data": {
    "content": "# Example Article\n\nExtracted article content..."
  }
}

Các trường phản hồi

Phản hồi lỗi

Ví dụ

Trích xuất cơ bản

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com"
  }'

Trích xuất Markdown với readability

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "output_format": "markdown",
    "with_readability": true
  }'

Trích xuất một CSS selector cụ thể

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "target_selector": "article.main-content",
    "output_format": "text"
  }'

Chờ nội dung động

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/app",
    "crawl_mode": "fine",
    "wait_for_selector": "#loaded-content",
    "output_format": "markdown",
    "timeout": 30000
  }'

Trường hợp sử dụng

• Cung cấp ngữ cảnh trang web cho agent trước khi trả lời câu hỏi.
• Trích xuất văn bản bài viết để nạp vào RAG hoặc tạo cơ sở tri thức.
• Chuyển trang web thành Markdown cho quy trình lưu trữ hoặc tài liệu.
• Lấy nội dung trọng tâm từ một trang bằng CSS selector.
• Giảm nhiễu trang bằng xử lý readability trước khi phân tích AI ở hạ nguồn.

Ghi chú

• API xử lý một URL mỗi yêu cầu.
• data được chuyển tiếp từ dịch vụ trích xuất hạ nguồn, nên các trường bổ sung có thể xuất hiện theo thời gian.
• Chế độ fine có thể chậm hơn fast, nhưng hữu ích khi trang cần hành vi render phức tạp hơn.
• Một số trang có thể chặn trích xuất, yêu cầu cookie hoặc cần user_agent tùy chỉnh.