Herramienta de recorrido de sitios basada en grafos que usa Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Herramienta de recorrido de sitios basada en grafos que usa Tavily Crawl.
Recorre un sitio desde un url raíz y devuelve el contenido de las páginas que encuentra. Guíalo con instructions en lenguaje natural y filtros regex de ruta y dominio, y delimítalo con max_depth, max_breadth y limit. Devuelve base_url y results[] con url y raw_content. Úsalo para una cobertura amplia de un sitio: documentación, un catálogo o el blog de un competidor. Responde de forma síncrona, lo que post_firecrawl_crawl no hace: ese se ejecuta como tarea en segundo plano y sirve para rastreos demasiado grandes para esperar.
Referencia de precios
- Medición: unidades de respuesta medidas.
- Estimación de referencia por solicitud: USD 0.024.
- Base de costo unitario: USD 0.008.
- Unidad de recurso:
tavily_credit. - Multiplicador de referencia del cliente: 1.0. No lo apliques de nuevo a un importe de cliente ya liquidado.
- Las bases de costo no determinan el precio final del cliente, incluso cuando son cero.
Solo metadatos de referencia, no una cotización de la cuenta, un precio garantizado ni un límite de gasto. Los créditos de recursos no son créditos de Felo. Los cargos finales se rigen por los registros de facturación de Felo.
- Tipo: stringurlobligatorio
La URL raíz para iniciar el rastreo.
- Tipo: booleanallow
_external Incluye enlaces de dominios externos en la lista final de resultados.
- Tipo: integerchunks
_per _source mín.:1máx.:5Número máximo de fragmentos relevantes devueltos por fuente.
- Tipo: array string[]exclude
_domains Patrones regex para excluir dominios o subdominios específicos del rastreo.
- Tipo: array string[]exclude
_paths Patrones regex para excluir URL con patrones de ruta específicos.
- Tipo: string enumextract
_depth Profundidad del proceso de extracción.
valores- basic
- advanced
- Tipo: string enumformat
Formato del contenido extraído de la página web.
valores- markdown
- text
- Tipo: booleaninclude
_favicon Incluye la URL del favicon de cada resultado.
- Tipo: booleaninclude
_images Incluye imágenes en los resultados del rastreo.
- Tipo: booleaninclude
_usage Incluye información de uso de créditos en la respuesta.
- Tipo: stringinstructions
Instrucciones en lenguaje natural para el rastreador.
- Tipo: integerlimitmín.:1
Número total de enlaces que el rastreador procesará antes de detenerse.
- Tipo: integermax
_breadth mín.:1máx.:500Número máximo de enlaces a seguir por nivel del árbol.
- Tipo: integermax
_depth mín.:1máx.:5Profundidad máxima del rastreo.
- Tipo: array string[]select
_domains Patrones regex para limitar el rastreo a dominios o subdominios específicos.
- Tipo: array string[]select
_paths Patrones regex para seleccionar solo URL con patrones de ruta específicos.
- Tipo: number Formato: floattimeoutmín.:10máx.:150
Tiempo máximo en segundos para esperar la operación de rastreo.
- Tipo: object200
Resultados de rastreo devueltos correctamente.
- Tipo: stringbase
_url La URL base que se rastreó.
- Tipo: stringrequest
_id Identificador único de la solicitud.
- Tipo: number Formato: floatresponse
_time Tiempo en segundos que tardó en completarse la solicitud.
- Tipo: array object[]results
- faviconTipo: string
URL del favicon de la página rastreada.
- rawTipo: string
_content Contenido sin procesar extraído de la página.
- urlTipo: string
URL de la página rastreada.
- Tipo: objectusage
- creditsTipo: integer
Detalles de uso de créditos de la solicitud.
application/json - 400
No se pudo procesar la solicitud. Comprueba los parámetros de la solicitud.
- 401
Se requiere una clave de API de Felo válida.
- 402
La solicitud no puede continuar porque no se cumple un requisito de facturación.
- 403
La cuenta no tiene permiso para realizar esta operación.
- 429
Se ha alcanzado un límite de solicitudes o de gasto.
- 502
El servicio no pudo completar la solicitud.
- 503
La API o el servicio de facturación no están disponibles temporalmente.
- 504
El servicio agotó el tiempo de espera al procesar la solicitud.
- default
Respuesta de error; las respuestas de paso del upstream pueden usar formatos del proveedor
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}