Nástroj pro procházení webu založený na grafu, využívající Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Nástroj pro procházení webu založený na grafu, využívající Tavily Crawl.
Prochází web od kořenového url a vrací obsah nalezených stránek. Řiďte jej instructions v přirozeném jazyce a filtry cest a domén založenými na regulárních výrazech, rozsah ohraničte pomocí max_depth, max_breadth a limit. Vrací base_url a results[] s url a raw_content. Použijte jej pro široké pokrytí jednoho webu — dokumentace, katalogu, blogu konkurenta. Odpovídá synchronně, což post_firecrawl_crawl nedělá: ten běží jako úloha na pozadí a hodí se pro procházení příliš velká na čekání.
Cenová reference
- Účtování: měřené jednotky odpovědi.
- Referenční odhad požadavku: USD 0.024.
- Základ jednotkových nákladů: USD 0.008.
- Jednotka prostředku:
tavily_credit. - Referenční multiplikátor zákazníka: 1.0. Neaplikujte jej znovu na zúčtovanou částku zákazníka.
- Nákladové základny neurčují konečnou cenu pro zákazníka, a to ani když jsou nulové.
Pouze referenční metadata, nikoli nabídka pro účet, garantovaná cena či limit utrácení. Kredity prostředků nejsou kredity Felo. Konečné účtování se řídí fakturačními záznamy Felo.
- Typ: stringurlpovinné
Kořenová adresa URL, od které procházení začíná.
- Typ: booleanallow
_external Zahrnout do konečného seznamu výsledků odkazy na externí domény.
- Typ: integerchunks
_per _source min:1max:5Maximální počet relevantních částí vrácených na zdroj.
- Typ: array string[]exclude
_domains Vzory regex pro vyloučení konkrétních domén nebo subdomén z procházení.
- Typ: array string[]exclude
_paths Vzory regex pro vyloučení adres URL s konkrétními vzory cest.
- Typ: string enumextract
_depth Hloubka procesu extrakce.
hodnoty- basic
- advanced
- Typ: string enumformat
Formát extrahovaného obsahu webové stránky.
hodnoty- markdown
- text
- Typ: booleaninclude
_favicon Zahrnout adresu URL favikony pro každý výsledek.
- Typ: booleaninclude
_images Zahrnout obrázky do výsledků procházení.
- Typ: booleaninclude
_usage Zahrnout do odpovědi informace o spotřebě kreditů.
- Typ: stringinstructions
Pokyny v přirozeném jazyce pro procházející nástroj.
- Typ: integerlimitmin:1
Celkový počet odkazů, které nástroj zpracuje, než se zastaví.
- Typ: integermax
_breadth min:1max:500Maximální počet odkazů k následování na každé úrovni stromu.
- Typ: integermax
_depth min:1max:5Maximální hloubka procházení.
- Typ: array string[]select
_domains Vzory regex pro omezení procházení na konkrétní domény nebo subdomény.
- Typ: array string[]select
_paths Vzory regex pro výběr pouze adres URL s konkrétními vzory cest.
- Typ: number Formát: floattimeoutmin:10max:150
Maximální doba čekání na operaci procházení v sekundách.
- Typ: object200
Výsledky procházení byly úspěšně vráceny.
- Typ: stringbase
_url Základní adresa URL, která byla procházena.
- Typ: stringrequest
_id Jedinečný identifikátor požadavku.
- Typ: number Formát: floatresponse
_time Doba v sekundách, za kterou byl požadavek dokončen.
- Typ: array object[]results
- faviconTyp: string
Adresa URL favikony procházené stránky.
- rawTyp: string
_content Extrahovaný surový obsah ze stránky.
- urlTyp: string
Adresa URL procházené stránky.
- Typ: objectusage
- creditsTyp: integer
Podrobnosti o spotřebě kreditů pro požadavek.
application/json - 400
Požadavek se nepodařilo zpracovat. Zkontrolujte parametry požadavku.
- 401
Je vyžadován platný API klíč Felo.
- 402
V požadavku nelze pokračovat, protože není splněn požadavek na fakturaci.
- 403
Účet nemá oprávnění tuto operaci provést.
- 429
Byl dosažen limit požadavků nebo útraty.
- 502
Služba nemohla požadavek dokončit.
- 503
API nebo fakturační služba je dočasně nedostupná.
- 504
Při zpracování požadavku vypršel časový limit služby.
- default
Chybová odpověď; odpovědi předávané přímo od upstream poskytovatele mohou používat formáty poskytovatele
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}