# Сторінки OnPage API без можливості індексації

**API:** Data API

**Endpoint:** `POST /v1/beta/dataforseo/on_page/non_indexable`

**Tags:** DataForSEO

Обійдені сторінки, які пошукові системи не індексуватимуть, кожна з `reason` і `url`. Читає завершений обхід, тому потрібен `id` із `post_dataforseo_on_page_submit`, і повертає `crawl_progress` та `crawl_status` зі значеннями `max_crawl_pages`, `pages_in_queue` і `pages_crawled` — перевіряйте їх, перш ніж довіряти невеликому результату: обхід, що ще триває, просто має менше даних. Тут усе вирішує поле reason: noindex, канонічна адреса в іншому місці й блокування robots — дуже різні проблеми з однаковим симптомом. 💰 Безкоштовно на боці upstream: запит до завершеного обходу нічого не коштує, платити треба лише за сам обхід.

### Довідкові ціни

- Тарифікація: вартість відповіді за даними постачальника.
- Довідкова оцінка запиту: USD 0.012.
- Довідковий множник для клієнта: 1.0. Не застосовуйте його повторно до вже розрахованої суми клієнта.

Довідкові метадані, а не котирування для облікового запису, гарантована ціна чи ліміт витрат. Кредити ресурсів — це не кредити Felo. Остаточні списання здійснюються за записами білінгу Felo.

## Related links

- [Task POST](<https://docs.dataforseo.com/v3/on_page/task_post/>)
- [за цим посиланням.](<https://docs.dataforseo.com/v3/on_page/filters_and_thresholds/?bash>)

## Base URL

- `https://openapi.felo.ai`

## Authentication

- `FeloBearerAuth` (http bearer, bearer format Felo API Key)
- `FeloApiKey` (apiKey in header `X-API-Key`)

## Request body

Required: **no**

### application/json

Schema:

```json
{
  "type": "array",
  "items": {
    "type": [
      "object",
      "null"
    ],
    "oneOf": [
      {
        "type": "object",
        "properties": {
          "id": {
            "type": "string",
            "description": "<em>ID завдання</em><br><strong>обов'язкове поле</strong><br>цей ID можна отримати у відповіді ендпоінта Task POST<br>приклад:<br>\"07131248-1535-0216-1000-17384017ad04\""
          },
          "limit": {
            "type": [
              "integer",
              "null"
            ],
            "description": "<em>максимальна кількість повернутих сторінок</em><br>необов'язкове поле<br>значення за замовчуванням: <code>100</code><br>максимальне значення: <code>1000</code>"
          },
          "offset": {
            "type": [
              "integer",
              "null"
            ],
            "description": "<em>зміщення в масиві результатів сторінок, що повертаються</em><br>необов'язкове поле<br>значення за замовчуванням: <code>0</code><br>максимальне значення: <code>2000000</code><br>якщо вказати значення <code>10</code>, перші десять сторінок у масиві результатів буде пропущено, а дані буде надано для наступних сторінок"
          },
          "filters": {
            "type": [
              "array",
              "null"
            ],
            "items": {
              "type": [
                "object",
                "null"
              ]
            },
            "description": "<em>масив параметрів фільтрації результатів</em><br>необов'язкове поле<br><strong>можна додати кілька фільтрів одночасно (не більше 8)</strong><br>між умовами потрібно вказати логічний оператор <code>and</code> або <code>or</code><br>підтримуються такі оператори:<br><code>regex</code>, <code>not_regex</code>, <code>&lt;</code>, <code>&lt;=</code>, <code>&gt;</code>, <code>&gt;=</code>, <code>=</code>, <code>&lt;&gt;</code>, <code>in</code>, <code>not_in</code>, <code>like</code>, <code>not_like</code><br>оператор <code>%</code> можна використовувати з <code>like</code> і <code>not_like</code> для зіставлення будь-якого рядка довжиною від нуля символів<br>приклад:<br><code>[[\"reason\",\"&lt;&gt;\",\"robots_txt\"],<br>\"and\",<br>[\"url\",\"not_like\",\"%/wp-admin/%\"]]</code><p><code>[[\"url\",\"not_like\",\"%/wp-admin/%\"],<br>\"and\",<br>[[\"reason\",\"&lt;&gt;\",\"meta_tag\"],\"or\",[\"reason\",\"&lt;&gt;\",\"http_header\"]]]</code><p>Повний список можливих фільтрів доступний за цим посиланням."
          }
        },
        "example": [
          {
            "id": "07281559-0695-0216-0000-c269be8b7592",
            "filters": [
              [
                "reason",
                "=",
                "robots_txt"
              ],
              "and",
              [
                "url",
                "like",
                "%go%"
              ]
            ],
            "limit": 10
          }
        ]
      }
    ]
  },
  "example": [
    {
      "id": "07281559-0695-0216-0000-c269be8b7592",
      "filters": [
        [
          "reason",
          "=",
          "robots_txt"
        ],
        "and",
        [
          "url",
          "like",
          "%go%"
        ]
      ],
      "limit": 10
    }
  ]
}
```

## Responses

### 200 — Успішна операція

Headers:
- `X-Request-Id` (string) — Ідентифікатор запиту, який потрібно вказати під час звернення до підтримки Felo.

**application/json**

Schema: object | null

```json
{
  "type": [
    "object",
    "null"
  ],
  "oneOf": [
    {
      "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResponseInfo"
    }
  ]
}
```

### 400 — Не вдалося обробити запит. Перевірте параметри запиту.

### 401 — Потрібен дійсний API-ключ Felo.

### 402 — Запит неможливо виконати: умови білінгу не виконано.

### 403 — Обліковий запис не має дозволу на цю операцію.

### 429 — Досягнуто ліміту запитів або витрат.

### 502 — Служба не змогла виконати запит.

### 503 — API або служба білінгу тимчасово недоступні.

### 504 — Час очікування обробки запиту вичерпано.

### default — Відповідь із помилкою; наскрізні відповіді апстріму можуть використовувати формати постачальника

**application/json**

Schema:

```json
{}
```

## Schema definitions

### Response36Afe1097B20_BaseResponseInfo

`#/components/schemas/Response36Afe1097B20_BaseResponseInfo`

```json
{
  "properties": {
    "version": {
      "type": [
        "string",
        "null"
      ],
      "description": "поточна версія API"
    },
    "status_code": {
      "type": [
        "integer",
        "null"
      ],
      "description": "загальний код стану.\nПовний список кодів відповіді можна знайти тут."
    },
    "status_message": {
      "type": [
        "string",
        "null"
      ],
      "description": "загальне інформаційне повідомлення.\nПовний список загальних інформаційних повідомлень можна знайти тут."
    },
    "time": {
      "type": [
        "string",
        "null"
      ],
      "description": "загальний час виконання, секунди"
    },
    "cost": {
      "type": [
        "number",
        "null"
      ],
      "description": "загальна вартість завдань, USD",
      "format": "double"
    },
    "tasks_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "кількість завдань у масиві tasks",
      "format": "int64"
    },
    "tasks_error": {
      "type": [
        "integer",
        "null"
      ],
      "description": "кількість завдань у масиві tasks, повернутих з помилкою",
      "format": "int64"
    }
  }
}
```

### Response36Afe1097B20_BaseResponseTaskInfo

`#/components/schemas/Response36Afe1097B20_BaseResponseTaskInfo`

```json
{
  "properties": {
    "id": {
      "type": [
        "string",
        "null"
      ],
      "description": "ідентифікатор завдання\nунікальний ідентифікатор завдання в нашій системі у форматі UUID"
    },
    "status_code": {
      "type": [
        "integer",
        "null"
      ],
      "description": "код стану завдання\nформується DataForSEO, може перебувати в діапазоні 10000-60000\nПовний список кодів відповіді можна знайти тут."
    },
    "status_message": {
      "type": [
        "string",
        "null"
      ],
      "description": "інформаційне повідомлення завдання\nПовний список загальних інформаційних повідомлень можна знайти тут."
    },
    "time": {
      "type": [
        "string",
        "null"
      ],
      "description": "час виконання, секунди"
    },
    "cost": {
      "type": [
        "number",
        "null"
      ],
      "description": "загальна вартість завдань, USD",
      "format": "double"
    },
    "result_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "кількість елементів у масиві result",
      "format": "int64"
    },
    "path": {
      "type": [
        "array",
        "null"
      ],
      "items": {
        "type": [
          "string",
          "null"
        ]
      },
      "description": "шлях URL"
    },
    "data": {
      "type": [
        "object",
        "null"
      ],
      "additionalProperties": {
        "type": [
          "object",
          "null"
        ]
      },
      "description": "містить ті самі параметри, які ви вказали в POST-запиті"
    }
  }
}
```

### Response36Afe1097B20_CrawlStatusInfo

`#/components/schemas/Response36Afe1097B20_CrawlStatusInfo`

```json
{
  "type": "object",
  "properties": {
    "max_crawl_pages": {
      "type": [
        "integer",
        "null"
      ],
      "description": "максимальна кількість сторінок для обходу\nвказує ліміт max_crawl_pages, який ви задали під час постановки завдання",
      "format": "int64"
    },
    "pages_in_queue": {
      "type": [
        "integer",
        "null"
      ],
      "description": "кількість сторінок, які зараз перебувають у черзі на обхід",
      "format": "int64"
    },
    "pages_crawled": {
      "type": [
        "integer",
        "null"
      ],
      "description": "кількість обійдених сторінок",
      "format": "int64"
    }
  }
}
```

### Response36Afe1097B20_OnPageNonIndexableItem

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableItem`

```json
{
  "type": "object",
  "properties": {
    "reason": {
      "type": [
        "string",
        "null"
      ],
      "description": "<em>причина, чому сторінка недоступна для індексації</em><br>може набувати таких значень: <code>robots_txt</code>, <code>meta_tag</code>, <code>http_header</code>, <code>attribute</code>, <code>too_many_redirects</code>"
    },
    "url": {
      "type": [
        "string",
        "null"
      ],
      "description": "<em>URL сторінки, недоступної для індексації</em>"
    }
  }
}
```

### Response36Afe1097B20_OnPageNonIndexableResponseInfo

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResponseInfo`

```json
{
  "type": "object",
  "allOf": [
    {
      "$ref": "#/components/schemas/Response36Afe1097B20_BaseResponseInfo"
    },
    {
      "type": "object",
      "properties": {
        "tasks": {
          "type": [
            "array",
            "null"
          ],
          "items": {
            "type": [
              "object",
              "null"
            ],
            "oneOf": [
              {
                "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableTaskInfo"
              }
            ]
          },
          "description": "<em>масив завдань</em>"
        }
      }
    }
  ]
}
```

### Response36Afe1097B20_OnPageNonIndexableResultInfo

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResultInfo`

```json
{
  "type": "object",
  "properties": {
    "crawl_progress": {
      "type": [
        "string",
        "null"
      ],
      "description": "<em>статус сеансу сканування</em><br>можливі значення: <code>in_progress</code>, <code>finished</code>"
    },
    "crawl_status": {
      "type": [
        "object",
        "null"
      ],
      "oneOf": [
        {
          "$ref": "#/components/schemas/Response36Afe1097B20_CrawlStatusInfo"
        }
      ],
      "description": "<em>відомості про сеанс сканування</em>"
    },
    "total_items_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "<em>загальна кількість релевантних елементів у базі даних</em>",
      "format": "int64"
    },
    "items_count": {
      "type": [
        "integer",
        "null"
      ],
      "description": "<em>кількість елементів у масиві результатів</em>",
      "format": "int64"
    },
    "items": {
      "type": [
        "array",
        "null"
      ],
      "items": {
        "type": [
          "object",
          "null"
        ],
        "oneOf": [
          {
            "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableItem"
          }
        ]
      },
      "description": "<em>масив елементів</em>"
    }
  }
}
```

### Response36Afe1097B20_OnPageNonIndexableTaskInfo

`#/components/schemas/Response36Afe1097B20_OnPageNonIndexableTaskInfo`

```json
{
  "type": "object",
  "allOf": [
    {
      "$ref": "#/components/schemas/Response36Afe1097B20_BaseResponseTaskInfo"
    },
    {
      "type": "object",
      "properties": {
        "result": {
          "type": [
            "array",
            "null"
          ],
          "items": {
            "type": [
              "object",
              "null"
            ],
            "oneOf": [
              {
                "$ref": "#/components/schemas/Response36Afe1097B20_OnPageNonIndexableResultInfo"
              }
            ]
          },
          "description": "<em>масив результатів</em>"
        }
      }
    }
  ]
}
```
