DataForSEO
SEO, search-engine results, keyword research, backlinks and AI visibility data.
Live-парсинг контента OnPage API
Сразу разбирает любой url в структурированный контент без сканирования — единственный инструмент в этом семействе, работающий отдельно. browser_preset, browser_screen_width, browser_screen_height и custom_user_agent управляют рендерингом, disable_cookie_popup убирает баннеры согласия, store_raw_html сохраняет исходник. Ответ обёрнут в конверт DataForSEO: данные в tasks[0].result, результат в tasks[0].status_code — отклонённый запрос всё равно возвращает HTTP 200. Для страниц, уже входящих в сканирование, используйте бесплатный post_dataforseo_on_page_content_parsing.
Справочная информация о ценах
- Тарификация: заявленная стоимость ответа.
- Справочная оценка запроса: USD 0.0001.
- Справочный множитель для клиента: 1.0. Не применяйте его повторно к уже рассчитанной сумме клиента.
Только справочные метаданные, а не котировка для аккаунта, гарантированная цена или лимит расходов. Кредиты ресурсов — не кредиты Felo. Итоговые списания определяются записями биллинга Felo.
- Тип: array (object | null)[]
- acceptТип: string | null
_language языковой заголовок для доступа к веб-сайту
необязательное поле
поддерживаются все форматы локалей (xx, xx-XX, xxx-XX и т. д.)
Примечание: если не указать этот параметр, некоторые веб-сайты могут отказать в доступе; в этом случае страницы будут возвращены с"type":"brokenв массиве ответа - browserТип: string | null
_preset пресет параметров экрана браузера
необязательное поле
если вы используете это поле, указыватьbrowser_screen_width,browser_screen_height,browser_screen_scale_factorне нужновозможные значения:
desktop,mobile,tabletпресет
desktopприменяет следующие значения:browser_screen_width: 1920browser_screen_height: 1080browser_screen_scale_factor: 1пресет
mobileприменяет следующие значения:browser_screen_width: 390browser_screen_height: 844browser_screen_scale_factor: 3пресет
tabletприменяет следующие значения:browser_screen_width: 1024browser_screen_height: 1366browser_screen_scale_factor: 2Примечание: чтобы использовать этот параметр, задайте для
enable_javascriptилиenable_browser_renderingзначениеtrue - browserТип: integer | null
_screen _height высота экрана браузера
необязательное поле
можно задать собственную высоту экрана браузера для аудита конкретного устройства;
если вы используете это поле, указыватьbrowser_presetне нужно, так как он будет проигнорирован;Примечание: чтобы использовать этот параметр, задайте для
enable_javascriptилиenable_browser_renderingзначениеtrueминимальное значение в пикселях:
240
максимальное значение в пикселях:9999 - browserТип: number | null
_screen _scale _factor масштаб экрана браузера
необязательное поле
можно задать собственное соотношение разрешения экрана браузера для аудита конкретного устройства;
если вы используете это поле, указыватьbrowser_presetне нужно, так как он будет проигнорирован;Примечание: чтобы использовать этот параметр, задайте для
enable_javascriptилиenable_browser_renderingзначениеtrueминимальное значение:
0.5
максимальное значение:3 - browserТип: integer | null Формат: int64
_screen _width ширина экрана браузера
необязательное поле
можно задать собственную ширину экрана браузера для аудита конкретного устройства;
если вы используете это поле, указыватьbrowser_presetне нужно, так как он будет проигнорирован;Примечание: чтобы использовать этот параметр, задайте для
enable_javascriptилиenable_browser_renderingзначениеtrueминимальное значение в пикселях:
240
максимальное значение в пикселях:9999 - customТип: string | null
_user _agent пользовательский user agent
необязательное поле
пользовательский user agent для обхода веб-сайта
пример:Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36
значение по умолчанию:Mozilla/5.0 (compatible; RSiteAuditor) - disableТип: boolean | null
_cookie _popup отключить всплывающее окно cookie
необязательное поле
задайтеtrue, если хотите отключить всплывающее окно с запросом согласия на использование cookie;
значение по умолчанию:false - enableТип: boolean | null
_browser _rendering эмуляция рендеринга браузера для измерения Core Web Vitals
необязательное поле
этот параметр позволяет эмулировать браузер при загрузке веб-страницы;enable_browser_renderingзагружает стили, изображения, шрифты, анимации, видео и другие ресурсы страницы;
значение по умолчанию:false
задайтеtrue, чтобы получить в ответе метрики Core Web Vitals (FID, CLS, LCP);
если вы используете это поле, параметрамenable_javascriptиload_resourcesнужно задать значениеtrue
Примечание: при использовании этого параметра взимается дополнительная плата; подробнее о стоимости задач с этим параметром — в нашей статье справки; стоимость можно рассчитать на странице Pricing - enableТип: boolean | null
_javascript загружать JavaScript на странице
необязательное поле
задайтеtrue, если хотите загружать скрипты, доступные на странице
значение по умолчанию:false
Примечание: при использовании этого параметра взимается дополнительная плата; подробнее о стоимости задач с этим параметром — в нашей статье справки; стоимость можно рассчитать на странице Pricing - enableТип: boolean | null
_xhr включить XMLHttpRequest на странице
необязательное поле
задайтеtrue, если хотите, чтобы наш краулер запрашивал данные у веб-сервера с помощью объекта XMLHttpRequest
значение по умолчанию:falseесли вы используете это поле, параметр
enable_javascriptдолжен иметь значениеtrue; - ipТип: string | null
_pool _for _scan пул прокси
необязательное поле
можно выбрать расположение пула прокси, который будет использоваться для получения запрошенных данных;
параметр можно использовать, если содержимое страницы недоступно в одном из расположений, что приводит к периодическим ошибкамsite_unreachable
возможные значения:us,de - markdownТип: boolean | null
_view возвращать содержимое страницы в формате markdown
необязательное поле
если заданоtrue, содержимое страницы в формате markdown будет возвращено в полеpage_as_markdownответа;
значение по умолчанию:false - storeТип: boolean | null
_raw _html - switchТип: boolean | null
_pool переключение пула прокси
необязательное поле
еслиtrue, для получения запрошенных данных будут использоваться дополнительные пулы прокси;
параметр можно использовать, если одновременно задано множество задач, что приводит к периодическим ошибкамrate-limitи/илиsite_unreachable - urlТип: string
URL контента для парсинга
обязательное поле
URL страницы для парсинга
пример:https://www.fujielectric.com/
- Тип: object | null · Response36Afe1097B20_OnPageContentParsingLiveResponseInfo200
- Тип: number | null Формат: doublecost
общая стоимость задач, USD
- Тип: integer | nullstatus
_code общий код состояния. Полный список кодов ответа можно найти здесь.
- Тип: string | nullstatus
_message общее информационное сообщение. Полный список общих информационных сообщений можно найти здесь.
- Тип: array (object | null)[] | nulltasks
массив задач
- Тип: object | null · Response36Afe1097B20_OnPageContentParsingLiveTaskInfo
- costТип: number | null Формат: double
общая стоимость задач, USD
- dataТип: object | null
содержит те же параметры, что вы указали в POST-запросе
- propertyТип: object | null
Name
- idТип: string | null
идентификатор задачи уникальный идентификатор задачи в нашей системе в формате UUID
- pathТип: array (string | null)[] | null
путь URL
- resultТип: array (object | null)[] | null
массив результатов
- crawlТип: string | null
_progress статус сеанса сканирования
возможные значения:in_progress,finished - crawlТип: object | null · Response36Afe1097B20_CrawlStatusInfo
_status сведения о сеансе сканирования
- maxТип: integer | null Формат: int64
_crawl _pages максимальное количество страниц для обхода указывает заданный при постановке задачи лимит max_crawl_pages
- pagesТип: integer | null Формат: int64
_crawled количество просканированных страниц
- pagesТип: integer | null Формат: int64
_in _queue количество страниц, которые сейчас находятся в очереди на сканирование
- itemsТип: array (object | null)[] | null
массив элементов
- fetchТип: string | null
_time дата и время получения контента
пример:"2022-11-01 10:02:52 +00:00" - pageТип: string | null
_as _markdown - pageТип: object | null · Response36Afe1097B20_PageContentInfo
_content разобранное содержимое страницы
- commentsТип: array (object | null)[] | null
массив комментариев, отображаемых на странице
содержит объекты с информацией о комментариях к отображаемым товарам- authorТип: string | null
автор комментария
- haveТип: boolean | null
_form - primaryТип: array (object | null)[] | null
_content основной контент на странице Подробнее о расчёте приоритета контента — в этой статье справочного центра
- textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- publishТип: string | null
_date дата публикации комментария
- ratingТип: object | null · Response36Afe1097B20_ContententRatingInfo
рейтинг продукта содержит информацию о рейтинге, который клиент поставил продукту
- maxТип: number | null Формат: double
_rating _value максимальное значение для названия рейтинга
- nameТип: string | null
название рейтинга здесь можно найти следующие элементы: Max5, Percents, CustomMax
- ratingТип: integer | null Формат: int64
_count количество голосов
- ratingТип: number | null Формат: double
_value значение рейтинга
- relativeТип: number | null Формат: double
_rating относительный рейтинг
- titleТип: string | null
заголовок комментария клиента
- contactsТип: object | null · Response36Afe1097B20_Contacts
контактная информация
содержит контактную информацию, отображаемую на странице- emailsТип: array (string | null)[] | null
массив адресов электронной почты
- telephonesТип: array (string | null)[] | null
массив номеров телефонов
- footerТип: object | null · Response36Afe1097B20_PageSectionContentInfo
содержимое нижнего колонтитула таблицы
- primaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- secondaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- tableТип: array (object | null)[] | null
_content содержимое таблицы на странице
- bodyТип: array (object | null)[] | null
содержимое тела таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- footerТип: array (object | null)[] | null
содержимое нижнего колонтитула таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- headerТип: array (object | null)[] | null
разобранное содержимое заголовка
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- headerТип: object | null · Response36Afe1097B20_PageSectionContentInfo
разобранное содержимое заголовка
- primaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- secondaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- tableТип: array (object | null)[] | null
_content содержимое таблицы на странице
- bodyТип: array (object | null)[] | null
содержимое тела таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- footerТип: array (object | null)[] | null
содержимое нижнего колонтитула таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- headerТип: array (object | null)[] | null
разобранное содержимое заголовка
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- mainТип: array (object | null)[] | null
_topic - authorТип: string | null
имя автора контента
- hТип: string | null
_title метазаголовок
- languageТип: string | null
язык контента
- levelТип: integer | null
уровень HTML
- mainТип: string | null
_title основной заголовок блока
- primaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- secondaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- tableТип: array (object | null)[] | null
_content содержимое таблицы на странице
- bodyТип: array (object | null)[] | null
содержимое тела таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- footerТип: array (object | null)[] | null
содержимое нижнего колонтитула таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- headerТип: array (object | null)[] | null
разобранное содержимое заголовка
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- offersТип: array (object | null)[] | null
массив товаров, отображаемых на странице
содержит объекты с информацией о товарах, отображаемых на странице- nameТип: string | null
название продукта
- priceТип: number | null Формат: double
цена продукта
- priceТип: string | null
_currency валюта цены
- priceТип: string | null
_valid _until отображает дату и время, до которых цена действительна в формате UTC: “yyyy-mm-dd hh-mm-ss +00:00” пример: "2022-11-01 10:02:52 +00:00"
- ratingsТип: array (object | null)[] | null
содержит объекты с информацией о рейтинге товаров, отображаемых на странице
- maxТип: number | null Формат: double
_rating _value максимальное значение для названия рейтинга
- nameТип: string | null
название рейтинга здесь можно найти следующие элементы: Max5, Percents, CustomMax
- ratingТип: integer | null Формат: int64
_count количество голосов
- ratingТип: number | null Формат: double
_value значение рейтинга
- relativeТип: number | null Формат: double
_rating относительный рейтинг
- secondaryТип: array (object | null)[] | null
_topic - authorТип: string | null
имя автора контента
- hТип: string | null
_title метазаголовок
- languageТип: string | null
язык контента
- levelТип: integer | null
уровень HTML
- mainТип: string | null
_title основной заголовок блока
- primaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- secondaryТип: array (object | null)[] | null
_content - textТип: string | null
вторичный контент на странице подробнее о расчёте приоритета контента читайте в этой статье справочного центра
- urlТип: string | null
URL страницы. отображается, если текст является якорем ссылки
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- tableТип: array (object | null)[] | null
_content содержимое таблицы на странице
- bodyТип: array (object | null)[] | null
содержимое тела таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- footerТип: array (object | null)[] | null
содержимое нижнего колонтитула таблицы
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- headerТип: array (object | null)[] | null
разобранное содержимое заголовка
- rowТип: array (object | null)[] | null
_cells содержимое ячеек строки заголовка
- isТип: boolean | null
_header содержимое ячеек строки заголовка
- textТип: string | null
содержимое ячеек строки заголовка
- urlsТип: array (object | null)[] | null
содержит другие URL и якоря, найденные в элементе контента
- anchorТип: string | null
_text текст якоря URL
- urlТип: string | null
содержит другие URL и якоря, найденные в элементе контента
- statusТип: integer | null
_code общий код состояния
полный список кодов ответа можно найти здесь
Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок - typeТип: string | null
тип элемента
- itemsТип: integer | null Формат: int64
_count количество элементов в массиве результатов
- resultТип: integer | null Формат: int64
_count число элементов в массиве result
- statusТип: integer | null
_code код состояния задачи формируется DataForSEO, может находиться в диапазоне 10000-60000 Полный список кодов ответа можно найти здесь.
- statusТип: string | null
_message информационное сообщение задачи Полный список общих информационных сообщений можно найти здесь.
- timeТип: string | null
время выполнения, секунды
- Тип: integer | null Формат: int64tasks
_count число задач в массиве tasks
- Тип: integer | null Формат: int64tasks
_error число задач в массиве tasks, возвращённых с ошибкой
- Тип: string | nulltime
общее время выполнения, секунды
- Тип: string | nullversion
текущая версия API
application/json - 400
Запрос не удалось обработать. Проверьте параметры запроса.
- 401
Требуется действительный API-ключ Felo.
- 402
Запрос не может быть выполнен: не выполнено требование биллинга.
- 403
Аккаунту не разрешено выполнять эту операцию.
- 429
Достигнут лимит запросов или расходов.
- 502
Сервис не смог выполнить запрос.
- 503
API или сервис биллинга временно недоступны.
- 504
Истекло время ожидания обработки запроса.
- default
Ответ с ошибкой; сквозные ответы upstream могут использовать форматы провайдера
application/json
curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/content_parsing/live \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '[
{
"url": "https://dataforseo.com/blog/a-versatile-alternative-to-google-trends-exploring-the-power-of-dataforseo-trends-api"
}
]'
{
"version": null,
"status_code": null,
"status_message": null,
"time": null,
"cost": null,
"tasks_count": null,
"tasks_error": null,
"tasks": [
{
"id": null,
"status_code": null,
"status_message": null,
"time": null,
"cost": null,
"result_count": null,
"path": [
null
],
"data": null,
"result": [
{
"crawl_progress": null,
"crawl_status": {
"max_crawl_pages": null,
"pages_in_queue": null,
"pages_crawled": null
},
"items_count": null,
"items": [
{
"type": null,
"fetch_time": null,
"status_code": null,
"page_content": "[Max Depth Exceeded]",
"page_as_markdown": null
}
]
}
]
}
]
}