Web Fetch API

Web Fetch API mengekstrak konten dari URL target dan mengembalikan hasilnya dalam format yang lebih mudah diproses oleh agen, sistem RAG, dan alur kerja konten. API ini dapat mengembalikan HTML, teks biasa, atau Markdown, serta mendukung selector, opsi readability, kontrol cache, user agent kustom, dan cookie permintaan.

Endpoint

POST https://openapi.felo.ai/v2/web/extract

Autentikasi

Kirim kunci API Anda di header Authorization:

Authorization: Bearer YOUR_API_KEY

Lihat Panduan Autentikasi untuk detail tentang membuat dan mengelola kunci API.

Penggunaan dengan Agen AI

Pasang paket felo-ai lengkap jika Anda ingin Agen mengekstrak halaman web bersama setiap Felo Skill lain yang tersedia. Installer menemukan setiap direktori paket yang berisi SKILL.md secara dinamis, sehingga tidak pernah bergantung pada daftar tetap. Pasang semua Skill yang ditemukan di Codex ~/.codex/skills, Claude Code ~/.claude/skills, OpenClaw ~/.agents/skills, atau Hermes Agent ~/.hermes/skills. Gunakan panduan penyiapan Agen AI manual untuk langkah instalasi aman dan kunci API di setiap platform.

Permintaan

Header

Parameter Isi Permintaan

Respons

Respons Berhasil

Respons menggunakan desain pass-through transparan. Field persis di dalam data dapat bervariasi bergantung pada output_format dan opsi ekstraksi lainnya.

{
  "status": "ok",
  "message": null,
  "data": {
    "content": "# Example Article\n\nExtracted article content..."
  }
}

Field Respons

Respons Error

Contoh

Ekstraksi Dasar

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com"
  }'

Mengekstrak Markdown dengan Readability

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "output_format": "markdown",
    "with_readability": true
  }'

Mengekstrak Selector CSS Tertentu

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "target_selector": "article.main-content",
    "output_format": "text"
  }'

Menunggu Konten Dinamis

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/app",
    "crawl_mode": "fine",
    "wait_for_selector": "#loaded-content",
    "output_format": "markdown",
    "timeout": 30000
  }'

Kasus Penggunaan

• Memberi agen konteks halaman web sebelum menjawab pertanyaan.
• Mengekstrak teks artikel untuk ingest ke RAG atau pembuatan basis pengetahuan.
• Mengonversi halaman web menjadi Markdown untuk arsip atau alur kerja dokumentasi.
• Menarik konten terfokus dari halaman dengan menggunakan selector CSS.
• Mengurangi noise halaman dengan pemrosesan readability sebelum analisis AI downstream.

Catatan

• API ini menangani satu URL per permintaan.
• data diteruskan dari layanan ekstraksi downstream, sehingga field tambahan dapat muncul seiring waktu.
• Mode fine mungkin lebih lambat daripada fast, tetapi berguna jika halaman memerlukan perilaku rendering yang lebih kaya.
• Beberapa halaman mungkin memblokir ekstraksi, memerlukan cookie, atau memerlukan user_agent kustom.