Graphbasiertes Tool zum Durchlaufen von Websites mit Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Graphbasiertes Tool zum Durchlaufen von Websites mit Tavily Crawl.
Durchsucht eine Website ausgehend von einer Wurzel-url und gibt den Inhalt der gefundenen Seiten zurück. Steuern Sie dies mit natürlichsprachigen instructions sowie Regex-Filtern für Pfade und Domains und begrenzen Sie es mit max_depth, max_breadth und limit. Gibt base_url und results[] mit url und raw_content zurück. Verwenden Sie es für eine breite Abdeckung einer Website – Dokumentation, ein Katalog, der Blog eines Wettbewerbers. Es antwortet synchron, was post_firecrawl_crawl nicht tut: Dieser läuft als Hintergrundjob und eignet sich für Crawls, die zu groß zum Warten sind.
Preisreferenz
- Abrechnung: Abrechnete Antworteinheiten.
- Referenzschätzung pro Anfrage: USD 0.024.
- Kostenbasis pro Einheit: USD 0.008.
- Ressourceneinheit:
tavily_credit. - Referenz-Kundenmultiplikator: 1.0. Nicht erneut auf bereits abgerechnete Kundenbeträge anwenden.
- Kostenbasen legen den endgültigen Kundenpreis nicht fest, auch nicht bei null.
Nur Referenzmetadaten, kein Kontenangebot, kein garantierter Preis und keine Ausgabenobergrenze. Ressourcen-Credits sind keine Felo-Credits. Endgültige Abrechnungen richten sich nach den Felo-Abrechnungsbelegen.
- Typ: stringurlerforderlich
Die Stamm-URL, an der der Crawl beginnt.
- Typ: booleanallow
_external Externe Domain-Links in die endgültige Ergebnisliste aufnehmen.
- Typ: integerchunks
_per _source min.:1max.:5Maximale Anzahl relevanter Chunks, die pro Quelle zurückgegeben werden.
- Typ: array string[]exclude
_domains Regex-Muster, um bestimmte Domains oder Subdomains vom Crawling auszuschließen.
- Typ: array string[]exclude
_paths Regex-Muster, um URLs mit bestimmten Pfadmustern auszuschließen.
- Typ: string enumextract
_depth Tiefe des Extraktionsvorgangs.
Werte- basic
- advanced
- Typ: string enumformat
Format des extrahierten Webseiteninhalts.
Werte- markdown
- text
- Typ: booleaninclude
_favicon Die Favicon-URL für jedes Ergebnis einschließen.
- Typ: booleaninclude
_images Bilder in die Crawl-Ergebnisse aufnehmen.
- Typ: booleaninclude
_usage Informationen zur Credit-Nutzung in die Antwort aufnehmen.
- Typ: stringinstructions
Anweisungen in natürlicher Sprache für den Crawler.
- Typ: integerlimitmin.:1
Gesamtzahl der Links, die der Crawler verarbeitet, bevor er stoppt.
- Typ: integermax
_breadth min.:1max.:500Maximale Anzahl der Links, denen pro Ebene des Baums gefolgt wird.
- Typ: integermax
_depth min.:1max.:5Maximale Tiefe des Crawls.
- Typ: array string[]select
_domains Regex-Muster, um das Crawling auf bestimmte Domains oder Subdomains zu beschränken.
- Typ: array string[]select
_paths Regex-Muster, um nur URLs mit bestimmten Pfadmustern auszuwählen.
- Typ: number Format: floattimeoutmin.:10max.:150
Maximale Wartezeit in Sekunden für die Crawl-Operation.
- Typ: object200
Crawl-Ergebnisse erfolgreich zurückgegeben.
- Typ: stringbase
_url Die Basis-URL, die gecrawlt wurde.
- Typ: stringrequest
_id Eindeutige Anfragekennung.
- Typ: number Format: floatresponse
_time Zeit in Sekunden, die zum Abschließen der Anfrage benötigt wurde.
- Typ: array object[]results
- faviconTyp: string
Favicon-URL der gecrawlten Seite.
- rawTyp: string
_content Roher extrahierter Inhalt der Seite.
- urlTyp: string
URL der gecrawlten Seite.
- Typ: objectusage
- creditsTyp: integer
Details zur Credit-Nutzung für die Anfrage.
application/json - 400
Die Anfrage konnte nicht verarbeitet werden. Prüfen Sie die Anfrageparameter.
- 401
Ein gültiger Felo-API-Schlüssel ist erforderlich.
- 402
Die Anfrage kann nicht fortgesetzt werden, da eine Abrechnungsvoraussetzung nicht erfüllt ist.
- 403
Das Konto ist für diesen Vorgang nicht berechtigt.
- 429
Ein Anfrage- oder Ausgabenlimit wurde erreicht.
- 502
Der Dienst konnte die Anfrage nicht abschließen.
- 503
Die API oder der Abrechnungsdienst ist vorübergehend nicht verfügbar.
- 504
Beim Verarbeiten der Anfrage ist eine Zeitüberschreitung aufgetreten.
- default
Fehlerantwort; Upstream-Passthrough-Antworten können Anbieterformate verwenden
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}