Strumento basato su grafo per l'esplorazione di siti web con Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Strumento basato su grafo per l'esplorazione di siti web con Tavily Crawl.
Percorre un sito da un url radice e restituisce il contenuto delle pagine trovate. Guidalo con instructions in linguaggio naturale e filtri regex su percorsi e domini, e limitane l'estensione con max_depth, max_breadth e limit. Restituisce base_url e results[] con url e raw_content. Usalo per una copertura ampia di un singolo sito: documentazione, un catalogo, il blog di un concorrente. Risponde in modo sincrono, cosa che post_firecrawl_crawl non fa: quello viene eseguito come job in background ed è adatto a crawl troppo grandi per attendere.
Riferimento prezzi
- Misurazione: unità di risposta misurate.
- Stima di riferimento per richiesta: USD 0.024.
- Base di costo unitario: USD 0.008.
- Unità di risorsa:
tavily_credit. - Moltiplicatore di riferimento per il cliente: 1.0. Non applicarlo di nuovo a un importo già addebitato al cliente.
- Le basi di costo non determinano il prezzo finale per il cliente, anche quando sono zero.
Solo metadati di riferimento, non un preventivo dell'account né un prezzo o un limite di spesa garantito. I crediti delle risorse non sono crediti Felo. Gli addebiti finali seguono le registrazioni di fatturazione Felo.
- Tipo: stringurlobbligatorio
L'URL radice da cui iniziare la scansione.
- Tipo: booleanallow
_external Includi i link a domini esterni nell'elenco finale dei risultati.
- Tipo: integerchunks
_per _source min:1max:5Numero massimo di chunk rilevanti restituiti per fonte.
- Tipo: array string[]exclude
_domains Pattern regex per escludere domini o sottodomini specifici dalla scansione.
- Tipo: array string[]exclude
_paths Pattern regex per escludere URL con specifici pattern di percorso.
- Tipo: string enumextract
_depth Profondità del processo di estrazione.
valori- basic
- advanced
- Tipo: string enumformat
Formato del contenuto della pagina web estratto.
valori- markdown
- text
- Tipo: booleaninclude
_favicon Includi l'URL del favicon per ogni risultato.
- Tipo: booleaninclude
_images Includi le immagini nei risultati della scansione.
- Tipo: booleaninclude
_usage Includi le informazioni sull'utilizzo dei crediti nella risposta.
- Tipo: stringinstructions
Istruzioni in linguaggio naturale per il crawler.
- Tipo: integerlimitmin:1
Numero totale di link che il crawler elaborerà prima di fermarsi.
- Tipo: integermax
_breadth min:1max:500Numero massimo di link da seguire per livello dell'albero.
- Tipo: integermax
_depth min:1max:5Profondità massima della scansione.
- Tipo: array string[]select
_domains Pattern regex per limitare la scansione a domini o sottodomini specifici.
- Tipo: array string[]select
_paths Pattern regex per selezionare solo URL con specifici pattern di percorso.
- Tipo: number Formato: floattimeoutmin:10max:150
Tempo massimo in secondi di attesa per l'operazione di scansione.
- Tipo: object200
Risultati della scansione restituiti correttamente.
- Tipo: stringbase
_url L'URL di base sottoposto a scansione.
- Tipo: stringrequest
_id Identificatore univoco della richiesta.
- Tipo: number Formato: floatresponse
_time Tempo in secondi impiegato per completare la richiesta.
- Tipo: array object[]results
- faviconTipo: string
URL del favicon della pagina sottoposta a scansione.
- rawTipo: string
_content Contenuto grezzo estratto dalla pagina.
- urlTipo: string
URL della pagina sottoposta a scansione.
- Tipo: objectusage
- creditsTipo: integer
Dettagli sull'utilizzo dei crediti per la richiesta.
application/json - 400
Impossibile elaborare la richiesta. Controlla i parametri della richiesta.
- 401
È richiesta una chiave API Felo valida.
- 402
Impossibile procedere con la richiesta perché non è soddisfatto un requisito di fatturazione.
- 403
L'account non è autorizzato a eseguire questa operazione.
- 429
È stato raggiunto un limite di richieste o di spesa.
- 502
Il servizio non è riuscito a completare la richiesta.
- 503
L'API o il servizio di fatturazione è temporaneamente non disponibile.
- 504
Si è verificato un timeout durante l'elaborazione della richiesta.
- default
Risposta di errore; le risposte passthrough upstream possono usare formati del provider
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}