# Страницы OnPage API без возможности индексации

**API:** Data API

**Endpoint:** `POST /v1/beta/dataforseo/on_page/non_indexable`

**Tags:** DataForSEO

Обойдённые страницы, которые поисковые системы не будут индексировать, каждая с `reason` и `url`. Читает завершённый обход, поэтому нужен `id` из `post_dataforseo_on_page_submit`, и возвращает `crawl_progress` и `crawl_status` со значениями `max_crawl_pages`, `pages_in_queue` и `pages_crawled` — проверяйте их, прежде чем доверять небольшому результату: у ещё идущего обхода просто меньше данных. Здесь всё решает поле reason: noindex, канонический адрес в другом месте и блокировка robots — очень разные проблемы с одинаковым симптомом. 💰 Бесплатно на стороне upstream: запрос к завершённому обходу ничего не стоит, платить нужно только за сам обход.

### Справочные цены

- Тарификация: стоимость ответа по данным провайдера.
- Справочная оценка запроса: USD 0.012.
- Справочный множитель для клиента: 1.0. Не применяйте его повторно к уже рассчитанной сумме клиента.

Справочные метаданные, а не коммерческое предложение для аккаунта, гарантированная цена или лимит расходов. Кредиты ресурсов — не кредиты Felo. Итоговые списания определяются записями биллинга Felo.

## Base URL

- `https://openapi.felo.ai`

## Authentication

- `FeloBearerAuth` (http bearer, bearer format Felo API Key)
- `FeloApiKey` (apiKey in header `X-API-Key`)

## Request body

Required: **no**

### application/json

Schema:

```json
{
  "type": "array",
  "items": {
    "type": [
      "object",
      "null"
    ],
    "oneOf": [
      {
        "type": "object",
        "properties": {
          "id": {
            "type": "string",
            "description": "<em>ID задачи</em><br><strong>обязательное поле</strong><br>этот ID можно получить в ответе эндпоинта <a href=\"/v3/on_page/task_post/\">Task POST</a><br>пример:<br>\"07131248-1535-0216-1000-17384017ad04\""
          },
          "limit": {
            "type": [
              "integer",
              "null"
            ],
            "description": "<em>максимальное количество возвращаемых страниц</em><br>необязательное поле<br>значение по умолчанию: <code>100</code><br>максимальное значение: <code>1000</code>"
          },
          "offset": {
            "type": [
              "integer",
              "null"
            ],
            "description": "<em>смещение в массиве результатов возвращаемых страниц</em><br>необязательное поле<br>значение по умолчанию: <code>0</code><br>максимальное значение: <code>2000000</code><br>если указать значение <code>10</code>, первые десять страниц в массиве результатов будут пропущены, а данные будут предоставлены для последующих страниц"
          },
          "filters": {
            "type": [
              "array",
              "null"
            ],
            "items": {
              "type": [
                "object",
                "null"
              ]
            },
            "description": "<em>массив параметров фильтрации результатов</em><br>необязательное поле<br><strong>можно добавить несколько фильтров одновременно (не более 8)</strong><br>между условиями нужно указать логический оператор <code>and</code> или <code>or</code><br>поддерживаются следующие операторы:<br><code>regex</code>, <code>not_regex</code>, <code>&lt;</code>, <code>&lt;=</code>, <code>&gt;</code>, <code>&gt;=</code>, <code>=</code>, <code>&lt;&gt;</code>, <code>in</code>, <code>not_in</code>, <code>like</code>, <code>not_like</code><br>оператор <code>%</code> можно использовать с <code>like</code> и <code>not_like</code> для сопоставления любой строки длиной от нуля символов<br>пример:<br><code>[[\"reason\",\"&lt;&gt;\",\"robots_txt\"],<br>\"and\",<br>[\"url\",\"not_like\",\"%/wp-admin/%\"]]</code><p><code>[[\"url\",\"not_like\",\"%/wp-admin/%\"],<br>\"and\",<br>[[\"reason\",\"&lt;&gt;\",\"meta_tag\"],\"or\",[\"reason\",\"&lt;&gt;\",\"http_header\"]]]</code><p>Полный список возможных фильтров доступен <a href=\"/v3/on_page/filters_and_thresholds/?bash\" target=\"_blank\" rel=\"noopener noreferrer\">по этой ссылке.</a>"
          }
        },
        "example": [
          {
            "id": "07281559-0695-0216-0000-c269be8b7592",
            "filters": [
              [
                "reason",
                "=",
                "robots_txt"
              ],
              "and",
              [
                "url",
                "like",
                "%go%"
              ]
            ],
            "limit": 10
          }
        ]
      }
    ]
  },
  "example": [
    {
      "id": "07281559-0695-0216-0000-c269be8b7592",
      "filters": [
        [
          "reason",
          "=",
          "robots_txt"
        ],
        "and",
        [
          "url",
          "like",
          "%go%"
        ]
      ],
      "limit": 10
    }
  ]
}
```

## Responses

### 200 — Успешная операция

Headers:
- `X-Request-Id` (string) — Идентификатор запроса, который нужно указать при обращении в поддержку Felo.

**application/json**

Schema: object | null

```json
{
  "type": [
    "object",
    "null"
  ],
  "oneOf": [
    {
      "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResponseInfo"
    }
  ]
}
```

### 400 — Запрос не удалось обработать. Проверьте параметры запроса.

### 401 — Требуется действительный API-ключ Felo.

### 402 — Запрос не может быть выполнен: не выполнено требование биллинга.

### 403 — Аккаунту не разрешено выполнять эту операцию.

### 429 — Достигнут лимит запросов или расходов.

### 502 — Сервис не смог выполнить запрос.

### 503 — API или сервис биллинга временно недоступны.

### 504 — Истекло время ожидания обработки запроса.

### default — Ответ с ошибкой; сквозные ответы upstream могут использовать форматы провайдера

**application/json**

Schema:

```json
{}
```

## Schema definitions

### Response36Afe1097B20_BaseResponseInfo

`#/components/schemas/Response36Afe1097B20_BaseResponseInfo`

```json
{
  "properties": {
    "version": {
      "type": [
        "string",
        "null"
      ],
      "description": "текущая версия API"
    },
    "status_code": {
      "type": [
        "integer",
        "null"
      ],
      "description": "общий код состояния.\nПолный список кодов ответа можно найти здесь."
    },
    "status_message": {
      "type": [
        "string",
        "null"
      ],
      "description": "общее информационное сообщение.\nПолный список общих информационных сообщений можно найти здесь."
    },
    "time": {
      "type": [
        "string",
        "null"
      ],
      "description": "общее время выполнения, секунды"
    },
    "cost": {
      "type": [
        "number",
        "null"
      ],
      "description": "общая стоимость задач, USD",
      "format": "double"
    },
    "tasks_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "число задач в массиве tasks",
      "format": "int64"
    },
    "tasks_error": {
      "type": [
        "integer",
        "null"
      ],
      "description": "число задач в массиве tasks, возвращённых с ошибкой",
      "format": "int64"
    }
  }
}
```

### Response36Afe1097B20_BaseResponseTaskInfo

`#/components/schemas/Response36Afe1097B20_BaseResponseTaskInfo`

```json
{
  "properties": {
    "id": {
      "type": [
        "string",
        "null"
      ],
      "description": "идентификатор задачи\nуникальный идентификатор задачи в нашей системе в формате UUID"
    },
    "status_code": {
      "type": [
        "integer",
        "null"
      ],
      "description": "код состояния задачи\nформируется DataForSEO, может находиться в диапазоне 10000-60000\nПолный список кодов ответа можно найти здесь."
    },
    "status_message": {
      "type": [
        "string",
        "null"
      ],
      "description": "информационное сообщение задачи\nПолный список общих информационных сообщений можно найти здесь."
    },
    "time": {
      "type": [
        "string",
        "null"
      ],
      "description": "время выполнения, секунды"
    },
    "cost": {
      "type": [
        "number",
        "null"
      ],
      "description": "общая стоимость задач, USD",
      "format": "double"
    },
    "result_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "число элементов в массиве result",
      "format": "int64"
    },
    "path": {
      "type": [
        "array",
        "null"
      ],
      "items": {
        "type": [
          "string",
          "null"
        ]
      },
      "description": "путь URL"
    },
    "data": {
      "type": [
        "object",
        "null"
      ],
      "additionalProperties": {
        "type": [
          "object",
          "null"
        ]
      },
      "description": "содержит те же параметры, что вы указали в POST-запросе"
    }
  }
}
```

### Response36Afe1097B20_CrawlStatusInfo

`#/components/schemas/Response36Afe1097B20_CrawlStatusInfo`

```json
{
  "type": "object",
  "properties": {
    "max_crawl_pages": {
      "type": [
        "integer",
        "null"
      ],
      "description": "максимальное количество страниц для обхода\nуказывает заданный при постановке задачи лимит max_crawl_pages",
      "format": "int64"
    },
    "pages_in_queue": {
      "type": [
        "integer",
        "null"
      ],
      "description": "количество страниц, которые сейчас находятся в очереди на сканирование",
      "format": "int64"
    },
    "pages_crawled": {
      "type": [
        "integer",
        "null"
      ],
      "description": "количество просканированных страниц",
      "format": "int64"
    }
  }
}
```

### Response36Afe1097B20_OnPageNonIndexableItem

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableItem`

```json
{
  "type": "object",
  "properties": {
    "reason": {
      "type": [
        "string",
        "null"
      ],
      "description": "<em>причина, по которой страница недоступна для индексации</em><br>может принимать следующие значения: <code>robots_txt</code>, <code>meta_tag</code>, <code>http_header</code>, <code>attribute</code>, <code>too_many_redirects</code>"
    },
    "url": {
      "type": [
        "string",
        "null"
      ],
      "description": "<em>URL страницы, недоступной для индексации</em>"
    }
  }
}
```

### Response36Afe1097B20_OnPageNonIndexableResponseInfo

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResponseInfo`

```json
{
  "type": "object",
  "allOf": [
    {
      "$ref": "#/components/schemas/Response36Afe1097B20_BaseResponseInfo"
    },
    {
      "type": "object",
      "properties": {
        "tasks": {
          "type": [
            "array",
            "null"
          ],
          "items": {
            "type": [
              "object",
              "null"
            ],
            "oneOf": [
              {
                "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableTaskInfo"
              }
            ]
          },
          "description": "<em>массив задач</em>"
        }
      }
    }
  ]
}
```

### Response36Afe1097B20_OnPageNonIndexableResultInfo

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResultInfo`

```json
{
  "type": "object",
  "properties": {
    "crawl_progress": {
      "type": [
        "string",
        "null"
      ],
      "description": "<em>статус сеанса сканирования</em><br>возможные значения: <code>in_progress</code>, <code>finished</code>"
    },
    "crawl_status": {
      "type": [
        "object",
        "null"
      ],
      "oneOf": [
        {
          "$ref": "#/components/schemas/Response36Afe1097B20_CrawlStatusInfo"
        }
      ],
      "description": "<em>сведения о сеансе сканирования</em>"
    },
    "total_items_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "<em>общее количество релевантных элементов в базе данных</em>",
      "format": "int64"
    },
    "items_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "<em>количество элементов в массиве результатов</em>",
      "format": "int64"
    },
    "items": {
      "type": [
        "array",
        "null"
      ],
      "items": {
        "type": [
          "object",
          "null"
        ],
        "oneOf": [
          {
            "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableItem"
          }
        ]
      },
      "description": "<em>массив элементов</em>"
    }
  }
}
```

### Response36Afe1097B20_OnPageNonIndexableTaskInfo

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableTaskInfo`

```json
{
  "type": "object",
  "allOf": [
    {
      "$ref": "#/components/schemas/Response36Afe1097B20_BaseResponseTaskInfo"
    },
    {
      "type": "object",
      "properties": {
        "result": {
          "type": [
            "array",
            "null"
          ],
          "items": {
            "type": [
              "object",
              "null"
            ],
            "oneOf": [
              {
                "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResultInfo"
              }
            ]
          },
          "description": "<em>массив результатов</em>"
        }
      }
    }
  ]
}
```