v0.2.0-beta

OpenAPI 3.1.0

Ресурси OnPage API

Felo API Support

MIT

Сервер

https://openapi.felo.ai

Клієнтські бібліотеки

Shell Curl

DataForSEO

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO Операції

post/v1/beta/dataforseo/on_page/resources

Ресурси OnPage API

Ресурси, що не є сторінками, які знайшов обхід: зображення, скрипти, таблиці стилів — з їхніми кодами стану й розмірами. Посторінкова видача через search_after_token. Читає завершений обхід, тому потрібен id із post_dataforseo_on_page_submit, і повертає crawl_progress та crawl_status зі значеннями max_crawl_pages, pages_in_queue і pages_crawled — перевіряйте їх, перш ніж довіряти невеликому результату: обхід, що ще триває, просто має менше даних. Для ресурсів, до яких обхідник узагалі не зміг дістатися, використовуйте post_dataforseo_on_page_uncrawlable_resources. 💰 Безкоштовно на боці upstream: запит до завершеного обходу нічого не коштує, платити треба лише за сам обхід.

Довідкові ціни

Тарифікація: вартість відповіді за даними постачальника.
Довідкова оцінка запиту: USD 0.012.
Довідковий множник для клієнта: 1.0. Не застосовуйте його повторно до вже розрахованої суми клієнта.

Довідкові метадані, а не котирування для облікового запису, гарантована ціна чи ліміт витрат. Кредити ресурсів — це не кредити Felo. Остаточні списання здійснюються за записами білінгу Felo.

Тіло

application/json

Тип: array (object | null)[]
- filters
  Тип: array (object | null)[] | null
  
  масив параметрів фільтрації результатів
  необов'язкове поле
  можна додати кілька фільтрів одночасно (не більше 8)
  між умовами потрібно вказати логічний оператор and або or
  підтримуються такі оператори:
  regex, not_regex, <, <=, >, >=, =, <>, in, not_in, like, not_like
  оператор % можна використовувати з like і not_like для зіставлення будь-якого рядка довжиною від нуля символів
  приклад:
  ["resource_type","=","stylesheet"]
  
  [["resource_type","=","image"], "and",["checks.is_https","=",false]]
  
  [["fetch_timing.duration_time",">",1],"and",[["total_transfer_size",">",100],"or",["checks.high_loading_time","=",true]]]
  
  Повний список можливих фільтрів доступний за цим посиланням.
  
  Порожній об'єкт
- id
  Тип: string
  
  ID завдання
  обов'язкове поле
  цей ID можна отримати у відповіді ендпоінта Task POST
  приклад:
  "07131248-1535-0216-1000-17384017ad04"
- limit
  Тип: integer | null
  
  максимальна кількість ресурсів, що повертаються
  необов'язкове поле
  значення за замовчуванням: 100
  максимальне значення: 1000
- offset
  Тип: integer | null
  
  зміщення в масиві результатів ресурсів, що повертаються
  необов'язкове поле
  значення за замовчуванням: 0
  максимальне значення: 2000000
  якщо вказати значення 10, перші десять ресурсів у масиві результатів буде пропущено, а дані буде надано для наступних ресурсів
- order_by
  Тип: array string[] | null
  
  правила сортування результатів
  необов'язкове поле
  для сортування результатів можна використовувати ті самі значення, що й у масиві filters
  можливі типи сортування:
  asc - результати сортуються за зростанням
  desc - результати сортуються за спаданням
  для задання типу сортування слід використовувати кому
  приклад:
  ["size,desc"]
  зверніть увагу, що в одному запиті можна задати не більше трьох правил сортування
  для розділення кількох правил сортування слід використовувати кому
  приклад:
  ["size,desc","fetch_timing.fetch_end,desc"]
- relevant_pages_filters
  Тип: array string[] | null
  
  фільтрація ресурсів за відповідними сторінками
  необов'язкове поле
  це поле дає змогу отримати ресурси зі сторінок, що відповідають заданим параметрам
  тут можна застосовувати ті самі фільтри, що доступні для ендпоінта pages
  можна додати кілька фільтрів одночасно (не більше 8)
  між умовами потрібно вказати логічний оператор and або or
  підтримуються такі оператори:
  regex, not_regex, <, <=, >, >=, =, <>, in, not_in, like, not_like
  оператор % можна використовувати з like і not_like для зіставлення будь-якого рядка довжиною від нуля символів
  приклад:
  ["checks.no_image_title","=",true]
- search_after_token
  Тип: string | null
  
  токен для наступних запитів
  необов'язкове поле
  надається в тому самому полі відповіді на кожен запит;
  використовуйте цей параметр, щоб уникнути тайм-аутів під час отримання понад 20,000 результатів в одному запиті;
  вказавши унікальне значення search_after_token з масиву відповіді, ви отримаєте наступні результати початкового завдання;
  значення search_after_token є унікальними для кожного наступного завдання;
  Примітка: якщо в запиті вказано search_after_token, усі інші параметри мають збігатися з попереднім запитом
- tag
  Тип: string | null
  
  визначений користувачем ідентифікатор завдання
  необов'язкове поле
  обмеження — 255 символів
  цей параметр дає змогу ідентифікувати завдання й зіставити його з результатом
  вказане значення tag ви знайдете в об'єкті data відповіді
- url
  Тип: string | null
  
  URL сторінки
  необов'язкове поле
  укажіть це поле, якщо хочете отримати ресурси для конкретної сторінки
  зверніть увагу, що для отримання meta ресурсу з певного URL потрібно вказати URL у цьому полі;
  якщо під час створення завдання не вказано url, meta ресурсу в результатах буде повернуто на основі даних сторінки, на якій наш краулер уперше побачив ресурс

Відповіді

200
Тип: object | null · Response36Afe1097B20_OnPageResourcesResponseInfo
cost
Тип: number | null Формат: double

загальна вартість завдань, USD

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут.

status_message
Тип: string | null

загальне інформаційне повідомлення. Повний список загальних інформаційних повідомлень можна знайти тут.

tasks
Тип: array (object | null)[] | null

масив завдань

Тип: object | null · Response36Afe1097B20_OnPageResourcesTaskInfo
cost
Тип: number | null Формат: double

загальна вартість завдань, USD

data
Тип: object | null

містить ті самі параметри, які ви вказали в POST-запиті

propertyName
Тип: object | null
id
Тип: string | null

ідентифікатор завдання унікальний ідентифікатор завдання в нашій системі у форматі UUID

path
Тип: array (string | null)[] | null

шлях URL

result
Тип: array (object | null)[] | null

масив результатів

crawl_progress
Тип: string | null

статус сеансу сканування
можливі значення: in_progress, finished

crawl_status
Тип: object | null · Response36Afe1097B20_CrawlStatusInfo

відомості про сеанс сканування

max_crawl_pages
Тип: integer | null Формат: int64

максимальна кількість сторінок для обходу вказує ліміт max_crawl_pages, який ви задали під час постановки завдання

pages_crawled
Тип: integer | null Формат: int64

кількість обійдених сторінок

pages_in_queue
Тип: integer | null Формат: int64

кількість сторінок, які зараз перебувають у черзі на обхід

current_offset
Тип: integer | null

Integer numbers.

items
Тип: array (object | null)[] | null

масив елементів

cache_control
Тип: object | null · Response36Afe1097B20_CacheControl

інструкції з кешування

cachable
Тип: boolean | null

указує, чи можна кешувати сторінку

ttl
Тип: integer | null

час життя, час кешування ресурсу браузером

checks
Тип: object | null

перевірки сайту, перевірки на сторінці, пов'язані зі сторінкою

propertyName
Тип: boolean | null
content_encoding
Тип: string | null

тип кодування

encoded_size
Тип: integer | null

розмір сторінки після кодування, указує розмір закодованої сторінки в байтах

fetch_time
Тип: string | null

дата й час отримання ресурсу, у форматі UTC: “yyyy-mm-dd hh-mm-ss +00:00” приклад: 2019-11-15 12:57:46 +00:00

last_modified
Тип: object | null · Response36Afe1097B20_LastModified

містить дані про зміни, пов'язані з ресурсом; якщо даних немає, значення буде null

header
Тип: string | null

дата й час останнього оновлення заголовка. У форматі UTC: "yyyy-mm-dd hh-mm-ss +00:00". Приклад: 2019-11-15 12:57:46 +00:00. Якщо даних немає, значення буде null

meta_tag
Тип: string | null

дата й час останнього оновлення метатега. У форматі UTC: "yyyy-mm-dd hh-mm-ss +00:00". Приклад: 2019-11-15 12:57:46 +00:00. Якщо даних немає, значення буде null

sitemap
Тип: string | null

дата й час останнього оновлення карти сайту. У форматі UTC: "yyyy-mm-dd hh-mm-ss +00:00". Приклад: 2019-11-15 12:57:46 +00:00. Якщо даних немає, значення буде null

location
Тип: string | null

заголовок location, указує URL для перенаправлення сторінки

media_type
Тип: string | null

типи медіа, що використовуються для відображення сторінки

resource_errors
Тип: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

помилки й попередження ресурсу

errors
Тип: array (object | null)[] | null

помилки ресурсів

column
Тип: integer | null

стовпець, у якому виявлено помилку

line
Тип: integer | null

рядок, у якому виявлено помилку

message
Тип: string | null

текстове повідомлення про помилку. Повний список можливих помилок HTML можна знайти тут

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

warnings
Тип: array (object | null)[] | null

попередження щодо ресурсів

column
Тип: integer | null

стовпець, у якому виявлено помилку

line
Тип: integer | null

рядок, у якому виявлено помилку

message
Тип: string | null

текстове повідомлення про помилку. Повний список можливих помилок HTML можна знайти тут

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

resource_type
Тип: string | null

тип елемента

server
Тип: string | null

версія сервера

size
Тип: integer | null

розмір ресурсу, указує розмір цієї сторінки в байтах

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

total_transfer_size
Тип: integer | null Формат: int64

розмір стисненої сторінки, указує розмір цієї сторінки після стиснення

url
Тип: string | null

URL сторінки

items_count
Тип: integer | null Формат: int64

кількість елементів у масиві результатів

search_after_token
Тип: string | null
total_items_count
Тип: integer | null Формат: int64

загальна кількість просканованих релевантних елементів

result_count
Тип: integer | null Формат: int64

кількість елементів у масиві result

status_code
Тип: integer | null

код стану завдання формується DataForSEO, може перебувати в діапазоні 10000-60000 Повний список кодів відповіді можна знайти тут.

status_message
Тип: string | null

інформаційне повідомлення завдання Повний список загальних інформаційних повідомлень можна знайти тут.

time
Тип: string | null

час виконання, секунди

tasks_count
Тип: integer | null Формат: int64

кількість завдань у масиві tasks

tasks_error
Тип: integer | null Формат: int64

кількість завдань у масиві tasks, повернутих з помилкою

time
Тип: string | null

загальний час виконання, секунди

version
Тип: string | null

поточна версія API
application/json
400

Не вдалося обробити запит. Перевірте параметри запиту.
401

Потрібен дійсний API-ключ Felo.
402

Запит неможливо виконати: умови білінгу не виконано.
403

Обліковий запис не має дозволу на цю операцію.
429

Досягнуто ліміту запитів або витрат.
502

Служба не змогла виконати запит.
503

API або служба білінгу тимчасово недоступні.
504

Час очікування обробки запиту вичерпано.
default

Відповідь із помилкою; наскрізні відповіді апстріму можуть використовувати формати постачальника

application/json

post/v1/beta/dataforseo/on_page/resources

curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/resources \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "filters": [
      [
        "resource_type",
        "=",
        "image"
      ],
      "and",
      [
        "size",
        ">",
        100000
      ]
    ],
    "order_by": [
      "size,desc"
    ],
    "limit": 10
  }
]'

Показати схему

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "search_after_token": null,
          "current_offset": null,
          "total_items_count": null,
          "items_count": null,
          "items": [
            {
              "resource_type": null,
              "status_code": null,
              "location": null,
              "url": null,
              "resource_errors": "[Max Depth Exceeded]",
              "size": null,
              "encoded_size": null,
              "total_transfer_size": null,
              "fetch_time": null,
              "cache_control": "[Max Depth Exceeded]",
              "checks": null,
              "content_encoding": null,
              "media_type": null,
              "server": null,
              "last_modified": "[Max Depth Exceeded]"
            }
          ]
        }
      ]
    }
  ]
}

Успішна операція

Ресурси OnPage API

АвтентифікаціяRequired

DataForSEO

Ресурси OnPage API

Довідкові ціни