Web Fetch API

Web Fetch API একটি লক্ষ্য URL থেকে কনটেন্ট এক্সট্রাক্ট করে এবং এজেন্ট, RAG সিস্টেম ও কনটেন্ট ওয়ার্কফ্লোর প্রসেস করা সহজ এমন ফরম্যাটে ফলাফল ফেরত দেয়। এটি HTML, প্লেইন টেক্সট বা Markdown ফেরত দিতে পারে এবং selector, readability অপশন, cache নিয়ন্ত্রণ, কাস্টম user agent ও অনুরোধ cookie সমর্থন করে।

Endpoint

POST https://openapi.felo.ai/v2/web/extract

প্রমাণীকরণ

Authorization header-এ আপনার API key পাঠান:

Authorization: Bearer YOUR_API_KEY

API key তৈরি ও পরিচালনার বিস্তারিত জানতে Authentication গাইড দেখুন।

AI এজেন্টের সাথে ব্যবহার

একটি Agent-কে অন্যান্য সব উপলব্ধ Felo Skill-এর পাশাপাশি ওয়েবপেজ এক্সট্রাক্ট করতে দিতে চাইলে সম্পূর্ণ felo-ai প্যাকেজ ইনস্টল করুন। ইনস্টলার গতিশীলভাবে SKILL.md থাকা প্রতিটি প্যাকেজ ডিরেক্টরি আবিষ্কার করে, তাই এটি কখনো নির্দিষ্ট তালিকার উপর নির্ভর করে না। আবিষ্কৃত সব Skill Codex ~/.codex/skills, Claude Code ~/.claude/skills, OpenClaw ~/.agents/skills বা Hermes Agent ~/.hermes/skills-এ ইনস্টল করুন। প্রতিটি প্ল্যাটফর্মের নিরাপদ ইনস্টলেশন ও API key ধাপের জন্য ম্যানুয়াল AI Agent সেটআপ গাইড ব্যবহার করুন।

অনুরোধ

Header

Body প্যারামিটার

রেসপন্স

সফল রেসপন্স

রেসপন্স একটি স্বচ্ছ pass-through ডিজাইন ব্যবহার করে। data-এর ভেতরের সঠিক ফিল্ড output_format ও অন্যান্য এক্সট্রাকশন অপশনের ভিত্তিতে ভিন্ন হতে পারে।

{
  "status": "ok",
  "message": null,
  "data": {
    "content": "# Example Article\n\nExtracted article content..."
  }
}

রেসপন্স ফিল্ড

ত্রুটি রেসপন্স

উদাহরণ

সাধারণ এক্সট্রাকশন

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com"
  }'

Readability সহ Markdown এক্সট্রাক্ট করুন

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "output_format": "markdown",
    "with_readability": true
  }'

নির্দিষ্ট CSS Selector এক্সট্রাক্ট করুন

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "target_selector": "article.main-content",
    "output_format": "text"
  }'

গতিশীল কনটেন্টের জন্য অপেক্ষা করুন

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/app",
    "crawl_mode": "fine",
    "wait_for_selector": "#loaded-content",
    "output_format": "markdown",
    "timeout": 30000
  }'

ব্যবহারের ক্ষেত্র

• প্রশ্নের উত্তর দেওয়ার আগে একটি এজেন্টকে ওয়েবপেজ context দিন।
• RAG ইনজেশন বা নলেজ বেস তৈরির জন্য নিবন্ধের টেক্সট এক্সট্রাক্ট করুন।
• আর্কাইভিং বা ডকুমেন্টেশন ওয়ার্কফ্লোরের জন্য ওয়েবপেজকে Markdown-এ রূপান্তর করুন।
• CSS selector ব্যবহার করে পেজ থেকে নির্দিষ্ট কনটেন্ট টেনে নিন।
• ডাউনস্ট্রিম AI বিশ্লেষণের আগে readability প্রসেসিং দিয়ে পেজের অপ্রয়োজনীয়তা কমান।

নোট

• API প্রতি অনুরোধে একটি URL সামলায়।
• data ডাউনস্ট্রিম এক্সট্রাকশন সার্ভিস থেকে pass-through হয়, তাই সময়ের সাথে অতিরিক্ত ফিল্ড দেখা দিতে পারে।
• fine মোড fast-এর চেয়ে ধীর হতে পারে, কিন্তু পেজের আরও সমৃদ্ধ রেন্ডারিং আচরণ দরকার হলে উপযোগী হতে পারে।
• কিছু পেজ এক্সট্রাকশন ব্লক করতে পারে, cookie প্রয়োজন হতে পারে, বা কাস্টম user_agent দরকার হতে পারে।