Инструмент обхода сайтов на основе графа с использованием Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Инструмент обхода сайтов на основе графа с использованием Tavily Crawl.
Обходит сайт от корневого url и возвращает содержимое найденных страниц. Управляйте обходом с помощью instructions на естественном языке и фильтров путей и доменов на регулярных выражениях, а ограничивайте его через max_depth, max_breadth и limit. Возвращает base_url и results[] с url и raw_content. Используйте для широкого охвата одного сайта — документации, каталога, блога конкурента. Отвечает синхронно, в отличие от post_firecrawl_crawl: тот выполняется как фоновая задача и подходит для обходов, которые слишком велики, чтобы их ждать.
Справочная информация о ценах
- Тарификация: тарифицируемые единицы ответа.
- Справочная оценка запроса: USD 0.024.
- Базовая стоимость единицы: USD 0.008.
- Единица ресурса:
tavily_credit. - Справочный множитель для клиента: 1.0. Не применяйте его повторно к уже рассчитанной сумме клиента.
- Базовые стоимости не определяют итоговую цену для клиента, в том числе когда они равны нулю.
Только справочные метаданные, а не котировка для аккаунта, гарантированная цена или лимит расходов. Кредиты ресурсов — не кредиты Felo. Итоговые списания определяются записями биллинга Felo.
- Тип: stringurlобязательно
Корневой URL для начала обхода.
- Тип: booleanallow
_external Включать ссылки на внешние домены в итоговый список результатов.
- Тип: integerchunks
_per _source мин.:1макс.:5Максимальное количество релевантных чанков, возвращаемых на источник.
- Тип: array string[]exclude
_domains Regex-шаблоны для исключения конкретных доменов или поддоменов из обхода.
- Тип: array string[]exclude
_paths Regex-шаблоны для исключения URL с определёнными шаблонами путей.
- Тип: string enumextract
_depth Глубина процесса извлечения.
значения- basic
- advanced
- Тип: string enumformat
Формат извлечённого содержимого веб-страницы.
значения- markdown
- text
- Тип: booleaninclude
_favicon Включать URL favicon для каждого результата.
- Тип: booleaninclude
_images Включать изображения в результаты обхода.
- Тип: booleaninclude
_usage Включать сведения об использовании кредитов в ответ.
- Тип: stringinstructions
Инструкции для краулера на естественном языке.
- Тип: integerlimitмин.:1
Общее количество ссылок, которые краулер обработает до остановки.
- Тип: integermax
_breadth мин.:1макс.:500Максимальное количество ссылок для перехода на каждом уровне дерева.
- Тип: integermax
_depth мин.:1макс.:5Максимальная глубина обхода.
- Тип: array string[]select
_domains Regex-шаблоны для выбора обхода только конкретных доменов или поддоменов.
- Тип: array string[]select
_paths Regex-шаблоны для выбора только URL с определёнными шаблонами путей.
- Тип: number Формат: floattimeoutмин.:10макс.:150
Максимальное время ожидания операции обхода в секундах.
- Тип: object200
Результаты обхода успешно возвращены.
- Тип: stringbase
_url Базовый URL, который был обойдён.
- Тип: stringrequest
_id Уникальный идентификатор запроса.
- Тип: number Формат: floatresponse
_time Время выполнения запроса в секундах.
- Тип: array object[]results
- faviconТип: string
URL favicon обойдённой страницы.
- rawТип: string
_content Необработанный контент, извлечённый со страницы.
- urlТип: string
URL обойдённой страницы.
- Тип: objectusage
- creditsТип: integer
Сведения об использовании кредитов для запроса.
application/json - 400
Запрос не удалось обработать. Проверьте параметры запроса.
- 401
Требуется действительный API-ключ Felo.
- 402
Запрос не может быть выполнен: не выполнено требование биллинга.
- 403
Аккаунту не разрешено выполнять эту операцию.
- 429
Достигнут лимит запросов или расходов.
- 502
Сервис не смог выполнить запрос.
- 503
API или сервис биллинга временно недоступны.
- 504
Истекло время ожидания обработки запроса.
- default
Ответ с ошибкой; сквозные ответы upstream могут использовать форматы провайдера
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}