Web Fetch API

De Web Fetch API haalt inhoud uit een doel-URL en retourneert het resultaat in een vorm die gemakkelijker te verwerken is voor agents, RAG-systemen en contentworkflows. De API kan HTML, platte tekst of Markdown retourneren en ondersteunt selectors, readability-opties, cachebeheer, aangepaste user agents en verzoekcookies.

Endpoint

POST https://openapi.felo.ai/v2/web/extract

Authenticatie

Stuur je API-sleutel mee in de Authorization-header:

Authorization: Bearer YOUR_API_KEY

Zie de authenticatiehandleiding voor het aanmaken en beheren van API-sleutels.

Gebruik met AI-agents

Installeer het volledige pakket felo-ai als je wilt dat een agent webpagina's extraheert naast alle andere beschikbare Felo Skills. Het installatieprogramma ontdekt dynamisch elke pakketmap die SKILL.md bevat, dus het vertrouwt nooit op een vaste lijst. Installeer alle gevonden Skills in Codex ~/.codex/skills, Claude Code ~/.claude/skills, OpenClaw ~/.agents/skills of Hermes Agent ~/.hermes/skills. Gebruik de handleiding voor handmatige AI-agentconfiguratie voor de veilige installatie en de stappen voor de API-sleutel per platform.

Verzoek

Headers

Bodyparameters

Respons

Succesrespons

De respons gebruikt een transparant pass-through-ontwerp. De exacte velden in data kunnen variëren op basis van output_format en andere extractieopties.

{
  "status": "ok",
  "message": null,
  "data": {
    "content": "# Example Article\n\nExtracted article content..."
  }
}

Responsvelden

Foutresponsen

Voorbeelden

Basisextractie

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com"
  }'

Markdown extraheren met readability

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "output_format": "markdown",
    "with_readability": true
  }'

Een specifieke CSS-selector extraheren

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/article",
    "target_selector": "article.main-content",
    "output_format": "text"
  }'

Wachten op dynamische inhoud

curl -X POST https://openapi.felo.ai/v2/web/extract \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "url": "https://example.com/app",
    "crawl_mode": "fine",
    "wait_for_selector": "#loaded-content",
    "output_format": "markdown",
    "timeout": 30000
  }'

Gebruiksscenario's

• Geef een agent context van een webpagina voordat hij een vraag beantwoordt.
• Extraheer artikeltekst voor RAG-opname of het maken van een kennisbank.
• Zet webpagina's om naar Markdown voor archiverings- of documentatieworkflows.
• Haal gerichte inhoud uit een pagina met CSS-selectors.
• Verminder ruis op de pagina met readability-verwerking voordat je de inhoud downstream door AI laat analyseren.

Opmerkingen

• De API verwerkt één URL per verzoek.
• data wordt doorgegeven vanuit de downstream-extractiedienst, dus er kunnen na verloop van tijd extra velden verschijnen.
• De modus fine kan langzamer zijn dan fast, maar is nuttig wanneer de pagina uitgebreider moet worden gerenderd.
• Sommige pagina's blokkeren extractie, vereisen cookies of hebben een aangepaste user_agent nodig.