Narzędzie do przechodzenia po witrynie oparte na grafie, wykorzystujące Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Narzędzie do przechodzenia po witrynie oparte na grafie, wykorzystujące Tavily Crawl.
Przechodzi witrynę od głównego url i zwraca treść znalezionych stron. Steruj nim za pomocą instructions w języku naturalnym oraz filtrów ścieżek i domen opartych na wyrażeniach regularnych, a ograniczaj go przez max_depth, max_breadth i limit. Zwraca base_url oraz results[] z url i raw_content. Używaj go do szerokiego pokrycia jednej witryny — dokumentacji, katalogu, bloga konkurenta. Odpowiada synchronicznie, czego nie robi post_firecrawl_crawl: ten działa jako zadanie w tle i nadaje się do indeksowań zbyt dużych, by na nie czekać.
Cennik referencyjny
- Rozliczanie: naliczone jednostki odpowiedzi.
- Szacunek referencyjny dla żądania: USD 0.024.
- Podstawa kosztu jednostkowego: USD 0.008.
- Jednostka zasobu:
tavily_credit. - Referencyjny mnożnik klienta: 1.0. Nie stosuj go ponownie do rozliczonej kwoty klienta.
- Podstawy kosztu nie ustalają ostatecznej ceny dla klienta, również gdy wynoszą zero.
Wyłącznie metadane referencyjne, a nie wycena konta, gwarantowana cena lub limit wydatków. Kredyty zasobów nie są kredytami Felo. Ostateczne obciążenia są zgodne z zapisami rozliczeniowymi Felo.
- Typ: stringurlwymagane
Główny adres URL, od którego rozpoczyna się skanowanie.
- Typ: booleanallow
_external Uwzględnij w końcowej liście wyników linki do zewnętrznych domen.
- Typ: integerchunks
_per _source min.:1maks.:5Maksymalna liczba odpowiednich fragmentów zwracanych na źródło.
- Typ: array string[]exclude
_domains Wzorce regex wykluczające określone domeny lub subdomeny ze skanowania.
- Typ: array string[]exclude
_paths Wzorce regex wykluczające adresy URL o określonych wzorcach ścieżek.
- Typ: string enumextract
_depth Głębokość procesu ekstrakcji.
wartości- basic
- advanced
- Typ: string enumformat
Format wyodrębnionej treści strony internetowej.
wartości- markdown
- text
- Typ: booleaninclude
_favicon Uwzględnij adres URL favikony dla każdego wyniku.
- Typ: booleaninclude
_images Uwzględnij obrazy w wynikach skanowania.
- Typ: booleaninclude
_usage Uwzględnij informacje o zużyciu kredytów w odpowiedzi.
- Typ: stringinstructions
Instrukcje w języku naturalnym dla skanera.
- Typ: integerlimitmin.:1
Łączna liczba linków, które skaner przetworzy przed zatrzymaniem.
- Typ: integermax
_breadth min.:1maks.:500Maksymalna liczba linków do odwiedzenia na każdym poziomie drzewa.
- Typ: integermax
_depth min.:1maks.:5Maksymalna głębokość skanowania.
- Typ: array string[]select
_domains Wzorce regex ograniczające skanowanie do określonych domen lub subdomen.
- Typ: array string[]select
_paths Wzorce regex wybierające tylko adresy URL o określonych wzorcach ścieżek.
- Typ: number Format: floattimeoutmin.:10maks.:150
Maksymalny czas oczekiwania na operację skanowania w sekundach.
- Typ: object200
Wyniki indeksowania zwrócone pomyślnie.
- Typ: stringbase
_url Bazowy adres URL, który został przeskanowany.
- Typ: stringrequest
_id Unikalny identyfikator żądania.
- Typ: number Format: floatresponse
_time Czas w sekundach potrzebny na ukończenie żądania.
- Typ: array object[]results
- faviconTyp: string
Adres URL favikony przeskanowanej strony.
- rawTyp: string
_content Wyodrębniona surowa treść ze strony.
- urlTyp: string
Adres URL przeskanowanej strony.
- Typ: objectusage
- creditsTyp: integer
Szczegóły zużycia kredytów dla żądania.
application/json - 400
Nie można przetworzyć żądania. Sprawdź parametry żądania.
- 401
Wymagany jest prawidłowy klucz API Felo.
- 402
Nie można kontynuować żądania, ponieważ nie spełniono wymogu rozliczeniowego.
- 403
Konto nie ma uprawnień do wykonania tej operacji.
- 429
Osiągnięto limit żądań lub wydatków.
- 502
Usługa nie mogła ukończyć żądania.
- 503
API lub usługa rozliczeniowa jest tymczasowo niedostępna.
- 504
Upłynął limit czasu usługi podczas przetwarzania żądania.
- default
Odpowiedź błędu; odpowiedzi przekazywane bezpośrednio od dostawcy upstream mogą używać formatów dostawcy
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}