Outil de parcours de sites basé sur un graphe, utilisant Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Outil de parcours de sites basé sur un graphe, utilisant Tavily Crawl.
Parcourt un site depuis une url racine et renvoie le contenu des pages trouvées. Pilotez-le avec des instructions en langage naturel et des filtres regex de chemin et de domaine, et bornez-le avec max_depth, max_breadth et limit. Renvoie base_url et results[] avec url et raw_content. Utilisez-le pour une couverture large d'un site — documentation, catalogue, blog d'un concurrent. Il répond de façon synchrone, contrairement à post_firecrawl_crawl : ce dernier s'exécute en tâche de fond et convient aux parcours trop volumineux pour attendre.
Référence tarifaire
- Mesure : unités de réponse mesurées.
- Estimation de référence par requête : USD 0.024.
- Base de coût unitaire : USD 0.008.
- Unité de ressource :
tavily_credit. - Multiplicateur client de référence : 1.0. Ne pas l'appliquer à nouveau à un montant client déjà réglé.
- Les bases de coût ne déterminent pas le prix client final, y compris lorsqu'elles valent zéro.
Métadonnées de référence uniquement, et non un devis de compte, un prix garanti ou un plafond de dépenses. Les crédits de ressources ne sont pas des crédits Felo. Les débits définitifs suivent les enregistrements de facturation Felo.
- Type: stringurlobligatoire
URL racine à partir de laquelle commencer l'exploration.
- Type: booleanallow
_external Inclure les liens de domaines externes dans la liste finale des résultats.
- Type: integerchunks
_per _source min.:1max.:5Nombre maximal de fragments pertinents renvoyés par source.
- Type: array string[]exclude
_domains Modèles regex pour exclure des domaines ou sous-domaines spécifiques de l'exploration.
- Type: array string[]exclude
_paths Modèles regex pour exclure des URL avec des modèles de chemin spécifiques.
- Type: string enumextract
_depth Profondeur du processus d'extraction.
valeurs- basic
- advanced
- Type: string enumformat
Format du contenu extrait de la page web.
valeurs- markdown
- text
- Type: booleaninclude
_favicon Inclure l'URL du favicon pour chaque résultat.
- Type: booleaninclude
_images Inclure les images dans les résultats de l'exploration.
- Type: booleaninclude
_usage Inclure les informations d'utilisation des crédits dans la réponse.
- Type: stringinstructions
Instructions en langage naturel pour le crawler.
- Type: integerlimitmin.:1
Nombre total de liens que le crawler traitera avant de s'arrêter.
- Type: integermax
_breadth min.:1max.:500Nombre maximal de liens à suivre par niveau de l'arborescence.
- Type: integermax
_depth min.:1max.:5Profondeur maximale de l'exploration.
- Type: array string[]select
_domains Modèles regex pour limiter l'exploration à des domaines ou sous-domaines spécifiques.
- Type: array string[]select
_paths Modèles regex pour ne sélectionner que les URL avec des modèles de chemin spécifiques.
- Type: number Format: floattimeoutmin.:10max.:150
Temps maximal en secondes d'attente de l'opération d'exploration.
- Type: object200
Résultats de parcours renvoyés avec succès.
- Type: stringbase
_url URL de base qui a été explorée.
- Type: stringrequest
_id Identifiant unique de la requête.
- Type: number Format: floatresponse
_time Temps en secondes nécessaire pour traiter la requête.
- Type: array object[]results
- faviconType: string
URL du favicon de la page explorée.
- rawType: string
_content Contenu brut extrait de la page.
- urlType: string
URL de la page explorée.
- Type: objectusage
- creditsType: integer
Détails d'utilisation des crédits pour la requête.
application/json - 400
La requête n'a pas pu être traitée. Vérifiez les paramètres de la requête.
- 401
Une clé API Felo valide est requise.
- 402
La requête ne peut pas aboutir car une condition de facturation n'est pas remplie.
- 403
Le compte n'est pas autorisé à effectuer cette opération.
- 429
Une limite de requêtes ou de dépenses a été atteinte.
- 502
Le service n'a pas pu terminer la requête.
- 503
L'API ou le service de facturation est temporairement indisponible.
- 504
Le service a expiré lors du traitement de la requête.
- default
Réponse d'erreur ; les réponses transmises depuis l'upstream peuvent utiliser les formats du fournisseur
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}