Op grafen gebaseerd hulpmiddel voor het doorlopen van websites met Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Op grafen gebaseerd hulpmiddel voor het doorlopen van websites met Tavily Crawl.
Doorzoekt een site vanaf een root-url en retourneert de inhoud van de gevonden pagina's. Stuur het bij met natuurlijke-taal-instructions plus regex-filters voor paden en domeinen, en begrens het met max_depth, max_breadth en limit. Retourneert base_url en results[] met url en raw_content. Gebruik het voor brede dekking van één site: documentatie, een catalogus, de blog van een concurrent. Het antwoordt synchroon, wat post_firecrawl_crawl niet doet: dat draait als achtergrondtaak en is geschikt voor crawls die te groot zijn om op te wachten.
Prijsreferentie
- Metering: Gemeten responseenheden.
- Referentieschatting per verzoek: USD 0.024.
- Kostenbasis per eenheid: USD 0.008.
- Resource-eenheid:
tavily_credit. - Referentiemultiplier voor klanten: 1.0. Niet opnieuw toepassen op een al afgerekend klantbedrag.
- Kostenbases bepalen niet de uiteindelijke klantprijs, ook niet wanneer die nul is.
Alleen referentiemetadata, geen accountofferte en geen gegarandeerde prijs of bestedingslimiet. Resourcecredits zijn geen Felo-tegoed. De uiteindelijke kosten volgen de factureringsgegevens van Felo.
- Type: stringurlverplicht
De root-URL waar de crawl begint.
- Type: booleanallow
_external Externe domeinlinks opnemen in de definitieve resultatenlijst.
- Type: integerchunks
_per _source min.:1max.:5Maximaal aantal relevante chunks dat per bron wordt geretourneerd.
- Type: array string[]exclude
_domains Regex-patronen om specifieke domeinen of subdomeinen van het crawlen uit te sluiten.
- Type: array string[]exclude
_paths Regex-patronen om URL's met specifieke padpatronen uit te sluiten.
- Type: string enumextract
_depth Diepte van het extractieproces.
waarden- basic
- advanced
- Type: string enumformat
Formaat van de geëxtraheerde webpagina-inhoud.
waarden- markdown
- text
- Type: booleaninclude
_favicon De favicon-URL voor elk resultaat opnemen.
- Type: booleaninclude
_images Afbeeldingen opnemen in de crawlresultaten.
- Type: booleaninclude
_usage Informatie over creditgebruik opnemen in de respons.
- Type: stringinstructions
Instructies in natuurlijke taal voor de crawler.
- Type: integerlimitmin.:1
Totaal aantal links dat de crawler verwerkt voordat hij stopt.
- Type: integermax
_breadth min.:1max.:500Maximaal aantal links dat per niveau van de boom wordt gevolgd.
- Type: integermax
_depth min.:1max.:5Maximale diepte van de crawl.
- Type: array string[]select
_domains Regex-patronen om het crawlen tot specifieke domeinen of subdomeinen te beperken.
- Type: array string[]select
_paths Regex-patronen om alleen URL's met specifieke padpatronen te selecteren.
- Type: number Formaat: floattimeoutmin.:10max.:150
Maximale wachttijd in seconden voor de crawl-bewerking.
- Type: object200
Crawleresultaten succesvol geretourneerd.
- Type: stringbase
_url De basis-URL die is gecrawld.
- Type: stringrequest
_id Unieke verzoekidentificatie.
- Type: number Formaat: floatresponse
_time Tijd in seconden die nodig was om het verzoek te voltooien.
- Type: array object[]results
- faviconType: string
Favicon-URL van de gecrawlde pagina.
- rawType: string
_content Geëxtraheerde ruwe inhoud van de pagina.
- urlType: string
URL van de gecrawlde pagina.
- Type: objectusage
- creditsType: integer
Details over creditgebruik voor het verzoek.
application/json - 400
Het verzoek kon niet worden verwerkt. Controleer de verzoekparameters.
- 401
Een geldige Felo-API-sleutel is vereist.
- 402
Het verzoek kan niet doorgaan omdat niet aan een factureringsvoorwaarde is voldaan.
- 403
Het account mag deze bewerking niet uitvoeren.
- 429
Een verzoek- of bestedingslimiet is bereikt.
- 502
De dienst kon het verzoek niet voltooien.
- 503
De API of factureringsdienst is tijdelijk niet beschikbaar.
- 504
Er is een time-out opgetreden bij het verwerken van het verzoek.
- default
Foutrespons; upstream-passthrough-responsen kunnen indelingen van de provider gebruiken
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}