# Парсинг контента OnPage API
**API:** Data API
**Endpoint:** `POST /v1/beta/dataforseo/on_page/content_parsing`
**Tags:** DataForSEO
Разбирает один просканированный `url` в структурированный контент, с `markdown_view` для Markdown-рендеринга. Читает завершённое сканирование, поэтому нужен `id` из `post_dataforseo_on_page_submit`, и возвращает `crawl_progress` и `crawl_status` со значениями `max_crawl_pages`, `pages_in_queue` и `pages_crawled` — проверяйте их, прежде чем доверять небольшому результату: у ещё идущего сканирования просто меньше данных. Отдельный двойник `post_dataforseo_on_page_content_parsing_live` разбирает любой URL без сканирования — предпочитайте его, если страница ещё не входит в сканирование.
### Справочная информация о ценах
- Тарификация: заявленная стоимость ответа.
- Справочная оценка запроса: USD 0.012.
- Справочный множитель для клиента: 1.0. Не применяйте его повторно к уже рассчитанной сумме клиента.
Только справочные метаданные, а не котировка для аккаунта, гарантированная цена или лимит расходов. Кредиты ресурсов — не кредиты Felo. Итоговые списания определяются записями биллинга Felo.
## Base URL
- `https://openapi.felo.ai`
## Authentication
- `FeloBearerAuth` (http bearer, bearer format Felo API Key)
- `FeloApiKey` (apiKey in header `X-API-Key`)
## Request body
Required: **no**
### application/json
Schema:
```json
{
"type": "array",
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"type": "object",
"properties": {
"url": {
"type": "string",
"description": "URL контента для парсинга
обязательное поле
URL страницы для парсинга
пример:
`https://dataforseo.com/blog/a-versatile-alternative-to-google-trends-exploring-the-power-of-dataforseo-trends-api`"
},
"id": {
"type": "string",
"description": "ID задачи
обязательное поле
этот ID можно получить в ответе эндпоинта Task POST
примечание: параметр enable_content_parsing в POST-запросе должен иметь значение true
пример:
\"07131248-1535-0216-1000-17384017ad04\""
},
"markdown_view": {
"type": [
"boolean",
"null"
],
"description": "возвращать содержимое страницы в формате markdown
необязательное поле
если задано true, содержимое страницы в формате markdown будет возвращено в поле page_as_markdown ответа;
значение по умолчанию: false"
}
},
"example": [
{
"url": "https://dataforseo.com/blog/a-versatile-alternative-to-google-trends-exploring-the-power-of-dataforseo-trends-api",
"id": "11161551-1535-0216-0000-500b3f307f92"
}
]
}
]
},
"example": [
{
"url": "https://dataforseo.com/blog/a-versatile-alternative-to-google-trends-exploring-the-power-of-dataforseo-trends-api",
"id": "11161551-1535-0216-0000-500b3f307f92"
}
]
}
```
## Responses
### 200 — Успешная операция
Headers:
- `X-Request-Id` (string) — Идентификатор запроса, который нужно указать при обращении в поддержку Felo.
**application/json**
Schema: object | null
```json
{
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_OnPageContentParsingResponseInfo"
}
]
}
```
### 400 — Запрос не удалось обработать. Проверьте параметры запроса.
### 401 — Требуется действительный API-ключ Felo.
### 402 — Запрос не может быть выполнен: не выполнено требование биллинга.
### 403 — Аккаунту не разрешено выполнять эту операцию.
### 429 — Достигнут лимит запросов или расходов.
### 502 — Сервис не смог выполнить запрос.
### 503 — API или сервис биллинга временно недоступны.
### 504 — Истекло время ожидания обработки запроса.
### default — Ответ с ошибкой; сквозные ответы upstream могут использовать форматы провайдера
**application/json**
Schema:
```json
{}
```
## Schema definitions
### Response36Afe1097B20_BaseResponseInfo
`#/components/schemas/Response36Afe1097B20_BaseResponseInfo`
```json
{
"properties": {
"version": {
"type": [
"string",
"null"
],
"description": "текущая версия API"
},
"status_code": {
"type": [
"integer",
"null"
],
"description": "общий код состояния.\nПолный список кодов ответа можно найти здесь."
},
"status_message": {
"type": [
"string",
"null"
],
"description": "общее информационное сообщение.\nПолный список общих информационных сообщений можно найти здесь."
},
"time": {
"type": [
"string",
"null"
],
"description": "общее время выполнения, секунды"
},
"cost": {
"type": [
"number",
"null"
],
"description": "общая стоимость задач, USD",
"format": "double"
},
"tasks_count": {
"type": [
"integer",
"null"
],
"description": "число задач в массиве tasks",
"format": "int64"
},
"tasks_error": {
"type": [
"integer",
"null"
],
"description": "число задач в массиве tasks, возвращённых с ошибкой",
"format": "int64"
}
}
}
```
### Response36Afe1097B20_BaseResponseTaskInfo
`#/components/schemas/Response36Afe1097B20_BaseResponseTaskInfo`
```json
{
"properties": {
"id": {
"type": [
"string",
"null"
],
"description": "идентификатор задачи\nуникальный идентификатор задачи в нашей системе в формате UUID"
},
"status_code": {
"type": [
"integer",
"null"
],
"description": "код состояния задачи\nформируется DataForSEO, может находиться в диапазоне 10000-60000\nПолный список кодов ответа можно найти здесь."
},
"status_message": {
"type": [
"string",
"null"
],
"description": "информационное сообщение задачи\nПолный список общих информационных сообщений можно найти здесь."
},
"time": {
"type": [
"string",
"null"
],
"description": "время выполнения, секунды"
},
"cost": {
"type": [
"number",
"null"
],
"description": "общая стоимость задач, USD",
"format": "double"
},
"result_count": {
"type": [
"integer",
"null"
],
"description": "число элементов в массиве result",
"format": "int64"
},
"path": {
"type": [
"array",
"null"
],
"items": {
"type": [
"string",
"null"
]
},
"description": "путь URL"
},
"data": {
"type": [
"object",
"null"
],
"additionalProperties": {
"type": [
"object",
"null"
]
},
"description": "содержит те же параметры, что вы указали в POST-запросе"
}
}
}
```
### Response36Afe1097B20_Contacts
`#/components/schemas/Response36Afe1097B20_Contacts`
```json
{
"type": "object",
"properties": {
"telephones": {
"type": [
"array",
"null"
],
"items": {
"type": [
"string",
"null"
]
},
"description": "массив номеров телефонов
"
},
"emails": {
"type": [
"array",
"null"
],
"items": {
"type": [
"string",
"null"
]
},
"description": "массив адресов электронной почты
"
}
}
}
```
### Response36Afe1097B20_ContentCommentInfo
`#/components/schemas/Response36Afe1097B20_ContentCommentInfo`
```json
{
"type": "object",
"properties": {
"rating": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContententRatingInfo"
}
],
"description": "рейтинг продукта\nсодержит информацию о рейтинге, который клиент поставил продукту"
},
"title": {
"type": [
"string",
"null"
],
"description": "заголовок комментария клиента"
},
"publish_date": {
"type": [
"string",
"null"
],
"description": "дата публикации комментария"
},
"author": {
"type": [
"string",
"null"
],
"description": "автор комментария"
},
"have_form": {
"type": [
"boolean",
"null"
],
"description": ""
},
"primary_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_SectionContentItemInfo"
}
]
},
"description": "основной контент на странице\nПодробнее о расчёте приоритета контента — в этой статье справочного центра"
}
}
}
```
### Response36Afe1097B20_ContentOfferInfo
`#/components/schemas/Response36Afe1097B20_ContentOfferInfo`
```json
{
"type": "object",
"properties": {
"name": {
"type": [
"string",
"null"
],
"description": "название продукта"
},
"price": {
"type": [
"number",
"null"
],
"description": "цена продукта",
"format": "double"
},
"price_currency": {
"type": [
"string",
"null"
],
"description": "валюта цены"
},
"price_valid_until": {
"type": [
"string",
"null"
],
"description": "отображает дату и время, до которых цена действительна\nв формате UTC: “yyyy-mm-dd hh-mm-ss +00:00”\nпример: \"2022-11-01 10:02:52 +00:00\""
}
}
}
```
### Response36Afe1097B20_ContentParsingElement
`#/components/schemas/Response36Afe1097B20_ContentParsingElement`
```json
{
"type": "object",
"properties": {
"type": {
"type": [
"string",
"null"
],
"description": "тип элемента"
},
"fetch_time": {
"type": [
"string",
"null"
],
"description": "дата и время получения контента
пример:
\"2022-11-01 10:02:52 +00:00\""
},
"status_code": {
"type": [
"integer",
"null"
],
"description": "общий код состояния
полный список кодов ответа можно найти здесь
Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок"
},
"page_content": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_PageContentInfo"
}
],
"description": "разобранное содержимое страницы
"
},
"page_as_markdown": {
"type": [
"string",
"null"
],
"description": "содержимое страницы в формате markdown
содержимое страницы в формате text-to-HTML markdown
чтобы вернуть значение, укажите markdown_view как true в запросе"
}
}
}
```
### Response36Afe1097B20_ContentUrlInfo
`#/components/schemas/Response36Afe1097B20_ContentUrlInfo`
```json
{
"type": "object",
"properties": {
"url": {
"type": [
"string",
"null"
],
"description": "содержит другие URL и якоря, найденные в элементе контента"
},
"anchor_text": {
"type": [
"string",
"null"
],
"description": "текст якоря URL"
}
}
}
```
### Response36Afe1097B20_ContententRatingInfo
`#/components/schemas/Response36Afe1097B20_ContententRatingInfo`
```json
{
"type": "object",
"properties": {
"name": {
"type": [
"string",
"null"
],
"description": "название рейтинга\nздесь можно найти следующие элементы: Max5, Percents, CustomMax"
},
"rating_value": {
"type": [
"number",
"null"
],
"description": "значение рейтинга",
"format": "double"
},
"rating_count": {
"type": [
"integer",
"null"
],
"description": "количество голосов",
"format": "int64"
},
"max_rating_value": {
"type": [
"number",
"null"
],
"description": "максимальное значение для названия рейтинга",
"format": "double"
},
"relative_rating": {
"type": [
"number",
"null"
],
"description": "относительный рейтинг",
"format": "double"
}
}
}
```
### Response36Afe1097B20_CrawlStatusInfo
`#/components/schemas/Response36Afe1097B20_CrawlStatusInfo`
```json
{
"type": "object",
"properties": {
"max_crawl_pages": {
"type": [
"integer",
"null"
],
"description": "максимальное количество страниц для обхода\nуказывает заданный при постановке задачи лимит max_crawl_pages",
"format": "int64"
},
"pages_in_queue": {
"type": [
"integer",
"null"
],
"description": "количество страниц, которые сейчас находятся в очереди на сканирование",
"format": "int64"
},
"pages_crawled": {
"type": [
"integer",
"null"
],
"description": "количество просканированных страниц",
"format": "int64"
}
}
}
```
### Response36Afe1097B20_OnPageContentParsingResponseInfo
`#/components/schemas/Response36Afe1097B20_OnPageContentParsingResponseInfo`
```json
{
"type": "object",
"allOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_BaseResponseInfo"
},
{
"type": "object",
"properties": {
"tasks": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_OnPageContentParsingTaskInfo"
}
]
},
"description": "массив задач"
}
}
}
]
}
```
### Response36Afe1097B20_OnPageContentParsingResultInfo
`#/components/schemas/Response36Afe1097B20_OnPageContentParsingResultInfo`
```json
{
"type": "object",
"properties": {
"crawl_progress": {
"type": [
"string",
"null"
],
"description": "статус сеанса сканирования
возможные значения: in_progress, finished"
},
"crawl_status": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_CrawlStatusInfo"
}
],
"description": "сведения о сеансе сканирования"
},
"items_count": {
"type": [
"integer",
"null"
],
"description": "количество элементов в массиве результатов
",
"format": "int64"
},
"items": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContentParsingElement"
}
]
},
"description": "массив элементов
"
}
}
}
```
### Response36Afe1097B20_OnPageContentParsingTaskInfo
`#/components/schemas/Response36Afe1097B20_OnPageContentParsingTaskInfo`
```json
{
"type": "object",
"allOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_BaseResponseTaskInfo"
},
{
"type": "object",
"properties": {
"result": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_OnPageContentParsingResultInfo"
}
]
},
"description": "массив результатов"
}
}
}
]
}
```
### Response36Afe1097B20_PageContentInfo
`#/components/schemas/Response36Afe1097B20_PageContentInfo`
```json
{
"type": "object",
"properties": {
"header": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_PageSectionContentInfo"
}
],
"description": "разобранное содержимое заголовка
"
},
"footer": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_PageSectionContentInfo"
}
],
"description": "содержимое нижнего колонтитула таблицы
"
},
"main_topic": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TopicInfo"
}
]
},
"description": "основная тема на странице
подробнее о расчёте приоритета тем — в этой статье справочного центра
"
},
"secondary_topic": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TopicInfo"
}
]
},
"description": "второстепенная тема на странице
подробнее о расчёте приоритета тем — в этой статье справочного центра
"
},
"ratings": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContententRatingInfo"
}
]
},
"description": "содержит объекты с информацией о рейтинге товаров, отображаемых на странице
"
},
"offers": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContentOfferInfo"
}
]
},
"description": "массив товаров, отображаемых на странице
содержит объекты с информацией о товарах, отображаемых на странице"
},
"comments": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContentCommentInfo"
}
]
},
"description": "массив комментариев, отображаемых на странице
содержит объекты с информацией о комментариях к отображаемым товарам"
},
"contacts": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_Contacts"
}
],
"description": "контактная информация
содержит контактную информацию, отображаемую на странице"
}
}
}
```
### Response36Afe1097B20_PageSectionContentInfo
`#/components/schemas/Response36Afe1097B20_PageSectionContentInfo`
```json
{
"type": "object",
"properties": {
"primary_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_SectionContentItemInfo"
}
]
},
"description": "основной контент на странице
подробнее о расчёте приоритета контента читайте в этой статье справочного центра
"
},
"secondary_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_SectionContentItemInfo"
}
]
},
"description": "вторичный контент на странице
подробнее о расчёте приоритета контента читайте в этой статье справочного центра
"
},
"table_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TableContentInfo"
}
]
},
"description": "содержимое таблицы на странице
"
}
}
}
```
### Response36Afe1097B20_RowCellInfo
`#/components/schemas/Response36Afe1097B20_RowCellInfo`
```json
{
"type": "object",
"properties": {
"text": {
"type": [
"string",
"null"
],
"description": "содержимое ячеек строки заголовка"
},
"urls": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContentUrlInfo"
}
]
},
"description": "содержит другие URL и якоря, найденные в элементе контента"
},
"is_header": {
"type": [
"boolean",
"null"
],
"description": "содержимое ячеек строки заголовка"
}
}
}
```
### Response36Afe1097B20_SectionContentItemInfo
`#/components/schemas/Response36Afe1097B20_SectionContentItemInfo`
```json
{
"type": "object",
"properties": {
"text": {
"type": [
"string",
"null"
],
"description": "вторичный контент на странице\nподробнее о расчёте приоритета контента читайте в этой статье справочного центра"
},
"url": {
"type": [
"string",
"null"
],
"description": "URL страницы.\nотображается, если текст является якорем ссылки"
},
"urls": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_ContentUrlInfo"
}
]
},
"description": "содержит другие URL и якоря, найденные в элементе контента"
}
}
}
```
### Response36Afe1097B20_TableContentInfo
`#/components/schemas/Response36Afe1097B20_TableContentInfo`
```json
{
"type": "object",
"properties": {
"header": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TableContentItemInfo"
}
]
},
"description": "разобранное содержимое заголовка"
},
"body": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TableContentItemInfo"
}
]
},
"description": "содержимое тела таблицы"
},
"footer": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TableContentItemInfo"
}
]
},
"description": "содержимое нижнего колонтитула таблицы"
}
}
}
```
### Response36Afe1097B20_TableContentItemInfo
`#/components/schemas/Response36Afe1097B20_TableContentItemInfo`
```json
{
"type": "object",
"properties": {
"row_cells": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_RowCellInfo"
}
]
},
"description": "содержимое ячеек строки заголовка"
}
}
}
```
### Response36Afe1097B20_TopicInfo
`#/components/schemas/Response36Afe1097B20_TopicInfo`
```json
{
"type": "object",
"properties": {
"h_title": {
"type": [
"string",
"null"
],
"description": "метазаголовок
"
},
"main_title": {
"type": [
"string",
"null"
],
"description": " основной заголовок блока
"
},
"author": {
"type": [
"string",
"null"
],
"description": "имя автора контента
"
},
"language": {
"type": [
"string",
"null"
],
"description": "язык контента
"
},
"level": {
"type": [
"integer",
"null"
],
"description": "уровень HTML
"
},
"primary_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_SectionContentItemInfo"
}
]
},
"description": "основной контент на странице
подробнее о расчёте приоритета контента читайте в этой статье справочного центра
"
},
"secondary_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_SectionContentItemInfo"
}
]
},
"description": "вторичный контент на странице
подробнее о расчёте приоритета контента читайте в этой статье справочного центра
"
},
"table_content": {
"type": [
"array",
"null"
],
"items": {
"type": [
"object",
"null"
],
"oneOf": [
{
"$ref": "#/components/schemas/Response36Afe1097B20_TableContentInfo"
}
]
},
"description": "содержимое таблицы на странице
"
}
}
}
```