Web Fetch API

Web Fetch API محتوا را از URL هدف استخراج می‌کند و نتیجه را در قالبی برمی‌گرداند که پردازش آن برای عامل‌ها، سامانه‌های RAG و گردش‌کارهای محتوا آسان‌تر است. می‌تواند HTML، متن ساده یا Markdown برگرداند و از انتخابگرها، گزینه‌های خوانایی، کنترل کش، user agent سفارشی و کوکی‌های درخواست پشتیبانی می‌کند.

Endpoint

POST https://openapi.felo.ai/v2/web/extract

احراز هویت

کلید API خود را در سرآیند Authorization بفرستید:

Authorization: Bearer YOUR_API_KEY

برای جزئیات ساخت و مدیریت کلیدهای API راهنمای احراز هویت را ببینید.

استفاده با عامل‌های هوش مصنوعی

وقتی می‌خواهید یک عامل صفحه‌های وب را در کنار هر Felo Skill در دسترس دیگر استخراج کند، بسته کامل felo-ai را نصب کنید. نصب‌کننده به‌صورت پویا هر پوشه بسته شامل SKILL.md را کشف می‌کند، پس هرگز به فهرست ثابتی تکیه نمی‌کند. همه Skillهای کشف‌شده را در ~/.codex/skills مربوط به Codex، ~/.claude/skills مربوط به Claude Code، ~/.agents/skills مربوط به OpenClaw یا ~/.hermes/skills مربوط به Hermes Agent نصب کنید. برای نصب ایمن و گام‌های کلید API هر پلتفرم راهنمای راه‌اندازی دستی عامل هوش مصنوعی را به کار ببرید.

درخواست

سرآیندها

پارامترهای بدنه

پاسخ

پاسخ موفق

پاسخ از طراحی عبور شفاف استفاده می‌کند. فیلدهای دقیق داخل data بسته به output_format و دیگر گزینه‌های استخراج می‌توانند متفاوت باشند.

{
  "status": "ok",
  "message": null,
  "data": {
    "content": "# Example Article\n\nExtracted article content..."
  }
}

فیلدهای پاسخ

پاسخ‌های خطا

نمونه‌ها

استخراج پایه

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com"
  }'

استخراج Markdown با خوانایی

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "output_format": "markdown",
    "with_readability": true
  }'

استخراج یک انتخابگر CSS مشخص

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "target_selector": "article.main-content",
    "output_format": "text"
  }'

انتظار برای محتوای پویا

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/app",
    "crawl_mode": "fine",
    "wait_for_selector": "#loaded-content",
    "output_format": "markdown",
    "timeout": 30000
  }'

کاربردها

• دادن زمینه صفحه وب به یک عامل پیش از پاسخ به پرسش.
• استخراج متن مقاله برای ورود به RAG یا ساخت پایگاه دانش.
• تبدیل صفحه‌های وب به Markdown برای بایگانی یا گردش‌کارهای مستندسازی.
• بیرون کشیدن محتوای متمرکز از یک صفحه با انتخابگرهای CSS.
• کاهش شلوغی صفحه با پردازش خوانایی پیش از تحلیل پایین‌دستی هوش مصنوعی.

یادداشت‌ها

• API در هر درخواست یک URL را مدیریت می‌کند.
• data از سرویس استخراج پایین‌دست عبور داده می‌شود، پس ممکن است با گذر زمان فیلدهای بیشتری ظاهر شوند.
• حالت fine ممکن است از fast کندتر باشد، اما وقتی صفحه به رفتار رندر غنی‌تری نیاز دارد مفید است.
• برخی صفحه‌ها ممکن است استخراج را مسدود کنند، کوکی بخواهند یا به user_agent سفارشی نیاز داشته باشند.