Ferramenta de travessia de sites baseada em grafo usando Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Ferramenta de travessia de sites baseada em grafo usando Tavily Crawl.
Percorre um site a partir de um url raiz e retorna o conteúdo das páginas encontradas. Direcione com instructions em linguagem natural e filtros regex de caminho e domínio, e limite com max_depth, max_breadth e limit. Retorna base_url e results[] com url e raw_content. Use para cobertura ampla de um site — documentação, um catálogo, o blog de um concorrente. Responde de forma síncrona, o que post_firecrawl_crawl não faz: este executa como tarefa em segundo plano e serve para rastreamentos grandes demais para aguardar.
Referência de preços
- Medição: unidades de resposta medidas.
- Estimativa de referência por requisição: USD 0.024.
- Base de custo unitário: USD 0.008.
- Unidade de recurso:
tavily_credit. - Multiplicador de referência do cliente: 1.0. Não o aplique novamente a um valor de cliente já liquidado.
- As bases de custo não definem o preço final do cliente, inclusive quando forem zero.
Apenas metadados de referência, não uma cotação da conta, um preço garantido ou um limite de gastos. Créditos de recursos não são créditos Felo. As cobranças finais seguem os registros de cobrança da Felo.
- Tipo: stringurlobrigatório
A URL raiz para iniciar o rastreamento.
- Tipo: booleanallow
_external Inclui links de domínios externos na lista final de resultados.
- Tipo: integerchunks
_per _source mín:1máx:5Número máximo de trechos relevantes retornados por fonte.
- Tipo: array string[]exclude
_domains Padrões regex para excluir domínios ou subdomínios específicos do rastreamento.
- Tipo: array string[]exclude
_paths Padrões regex para excluir URLs com padrões de caminho específicos.
- Tipo: string enumextract
_depth Profundidade do processo de extração.
valores- basic
- advanced
- Tipo: string enumformat
Formato do conteúdo extraído da página web.
valores- markdown
- text
- Tipo: booleaninclude
_favicon Inclui a URL do favicon de cada resultado.
- Tipo: booleaninclude
_images Inclui imagens nos resultados do rastreamento.
- Tipo: booleaninclude
_usage Inclui informações de uso de créditos na resposta.
- Tipo: stringinstructions
Instruções em linguagem natural para o rastreador.
- Tipo: integerlimitmín:1
Número total de links que o rastreador processará antes de parar.
- Tipo: integermax
_breadth mín:1máx:500Número máximo de links a seguir por nível da árvore.
- Tipo: integermax
_depth mín:1máx:5Profundidade máxima do rastreamento.
- Tipo: array string[]select
_domains Padrões regex para restringir o rastreamento a domínios ou subdomínios específicos.
- Tipo: array string[]select
_paths Padrões regex para selecionar apenas URLs com padrões de caminho específicos.
- Tipo: number Formato: floattimeoutmín:10máx:150
Tempo máximo em segundos para aguardar a operação de rastreamento.
- Tipo: object200
Resultados de rastreamento retornados com sucesso.
- Tipo: stringbase
_url A URL base que foi rastreada.
- Tipo: stringrequest
_id Identificador exclusivo da requisição.
- Tipo: number Formato: floatresponse
_time Tempo em segundos para concluir a requisição.
- Tipo: array object[]results
- faviconTipo: string
URL do favicon da página rastreada.
- rawTipo: string
_content Conteúdo bruto extraído da página.
- urlTipo: string
URL da página rastreada.
- Tipo: objectusage
- creditsTipo: integer
Detalhes de uso de créditos da requisição.
application/json - 400
Não foi possível processar a requisição. Verifique os parâmetros da requisição.
- 401
É necessária uma chave de API da Felo válida.
- 402
A requisição não pode prosseguir porque um requisito de cobrança não foi atendido.
- 403
A conta não tem permissão para realizar esta operação.
- 429
Um limite de requisições ou de gastos foi atingido.
- 502
O serviço não pôde concluir a requisição.
- 503
A API ou o serviço de cobrança está temporariamente indisponível.
- 504
O serviço atingiu o tempo limite ao processar a requisição.
- default
Resposta de erro; respostas repassadas do upstream podem usar formatos do provedor
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}