Страницы OnPage API без возможности индексации
DataForSEO
SEO, search-engine results, keyword research, backlinks and AI visibility data.
Страницы OnPage API без возможности индексации
Обойдённые страницы, которые поисковые системы не будут индексировать, каждая с reason и url. Читает завершённый обход, поэтому нужен id из post_dataforseo_on_page_submit, и возвращает crawl_progress и crawl_status со значениями max_crawl_pages, pages_in_queue и pages_crawled — проверяйте их, прежде чем доверять небольшому результату: у ещё идущего обхода просто меньше данных. Здесь всё решает поле reason: noindex, канонический адрес в другом месте и блокировка robots — очень разные проблемы с одинаковым симптомом. 💰 Бесплатно на стороне upstream: запрос к завершённому обходу ничего не стоит, платить нужно только за сам обход.
Справочные цены
- Тарификация: стоимость ответа по данным провайдера.
- Справочная оценка запроса: USD 0.012.
- Справочный множитель для клиента: 1.0. Не применяйте его повторно к уже рассчитанной сумме клиента.
Справочные метаданные, а не коммерческое предложение для аккаунта, гарантированная цена или лимит расходов. Кредиты ресурсов — не кредиты Felo. Итоговые списания определяются записями биллинга Felo.
- Тип: array (object | null)[]
- filtersТип: array (object | null)[] | null
массив параметров фильтрации результатов
необязательное поле
можно добавить несколько фильтров одновременно (не более 8)
между условиями нужно указать логический операторandилиor
поддерживаются следующие операторы:regex,not_regex,<,<=,>,>=,=,<>,in,not_in,like,not_like
оператор%можно использовать сlikeиnot_likeдля сопоставления любой строки длиной от нуля символов
пример:[["reason","<>","robots_txt"],
"and",
["url","not_like","%/wp-admin/%"]][["url","not_like","%/wp-admin/%"],
"and",
[["reason","<>","meta_tag"],"or",["reason","<>","http_header"]]]Пустой объект - idТип: string
- limitТип: integer | null
максимальное количество возвращаемых страниц
необязательное поле
значение по умолчанию:100
максимальное значение:1000 - offsetТип: integer | null
смещение в массиве результатов возвращаемых страниц
необязательное поле
значение по умолчанию:0
максимальное значение:2000000
если указать значение10, первые десять страниц в массиве результатов будут пропущены, а данные будут предоставлены для последующих страниц
- Тип: object | null · Response36Afe1097B20_OnPageNonIndexableResponseInfo200
- Тип: number | null Формат: doublecost
общая стоимость задач, USD
- Тип: integer | nullstatus
_code общий код состояния. Полный список кодов ответа можно найти здесь.
- Тип: string | nullstatus
_message общее информационное сообщение. Полный список общих информационных сообщений можно найти здесь.
- Тип: array (object | null)[] | nulltasks
массив задач
- Тип: object | null · Response36Afe1097B20_OnPageNonIndexableTaskInfo
- costТип: number | null Формат: double
общая стоимость задач, USD
- dataТип: object | null
содержит те же параметры, что вы указали в POST-запросе
- propertyТип: object | null
Name
- idТип: string | null
идентификатор задачи уникальный идентификатор задачи в нашей системе в формате UUID
- pathТип: array (string | null)[] | null
путь URL
- resultТип: array (object | null)[] | null
массив результатов
- crawlТип: string | null
_progress статус сеанса сканирования
возможные значения:in_progress,finished - crawlТип: object | null · Response36Afe1097B20_CrawlStatusInfo
_status сведения о сеансе сканирования
- maxТип: integer | null Формат: int64
_crawl _pages максимальное количество страниц для обхода указывает заданный при постановке задачи лимит max_crawl_pages
- pagesТип: integer | null Формат: int64
_crawled количество просканированных страниц
- pagesТип: integer | null Формат: int64
_in _queue количество страниц, которые сейчас находятся в очереди на сканирование
- itemsТип: array (object | null)[] | null
массив элементов
- reasonТип: string | null
причина, по которой страница недоступна для индексации
может принимать следующие значения:robots_txt,meta_tag,http_header,attribute,too_many_redirects - urlТип: string | null
URL страницы, недоступной для индексации
- itemsТип: integer | null Формат: int64
_count количество элементов в массиве результатов
- totalТип: integer | null Формат: int64
_items _count общее количество релевантных элементов в базе данных
- resultТип: integer | null Формат: int64
_count число элементов в массиве result
- statusТип: integer | null
_code код состояния задачи формируется DataForSEO, может находиться в диапазоне 10000-60000 Полный список кодов ответа можно найти здесь.
- statusТип: string | null
_message информационное сообщение задачи Полный список общих информационных сообщений можно найти здесь.
- timeТип: string | null
время выполнения, секунды
- Тип: integer | null Формат: int64tasks
_count число задач в массиве tasks
- Тип: integer | null Формат: int64tasks
_error число задач в массиве tasks, возвращённых с ошибкой
- Тип: string | nulltime
общее время выполнения, секунды
- Тип: string | nullversion
текущая версия API
application/json - 400
Запрос не удалось обработать. Проверьте параметры запроса.
- 401
Требуется действительный API-ключ Felo.
- 402
Запрос не может быть выполнен: не выполнено требование биллинга.
- 403
Аккаунту не разрешено выполнять эту операцию.
- 429
Достигнут лимит запросов или расходов.
- 502
Сервис не смог выполнить запрос.
- 503
API или сервис биллинга временно недоступны.
- 504
Истекло время ожидания обработки запроса.
- default
Ответ с ошибкой; сквозные ответы upstream могут использовать форматы провайдера
application/json
curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/non_indexable \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '[
{
"id": "07281559-0695-0216-0000-c269be8b7592",
"filters": [
[
"reason",
"=",
"robots_txt"
],
"and",
[
"url",
"like",
"%go%"
]
],
"limit": 10
}
]'
{
"version": null,
"status_code": null,
"status_message": null,
"time": null,
"cost": null,
"tasks_count": null,
"tasks_error": null,
"tasks": [
{
"id": null,
"status_code": null,
"status_message": null,
"time": null,
"cost": null,
"result_count": null,
"path": [
null
],
"data": null,
"result": [
{
"crawl_progress": null,
"crawl_status": {
"max_crawl_pages": null,
"pages_in_queue": null,
"pages_crawled": null
},
"total_items_count": null,
"items_count": null,
"items": [
{
"reason": null,
"url": null
}
]
}
]
}
]
}