v0.2.0-beta

OpenAPI 3.1.0

Дубльований вміст OnPage API

Felo API Support

MIT

Сервер

https://openapi.felo.ai

Клієнтські бібліотеки

Shell Curl

DataForSEO

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO Операції

post/v1/beta/dataforseo/on_page/duplicate_content

Дубльований вміст OnPage API

Сторінки в межах сканування, вміст яких схожий на заданий url вище порогу similarity. Читає завершене сканування, тому потрібен id із post_dataforseo_on_page_submit, і повертає crawl_progress та crawl_status зі значеннями max_crawl_pages, pages_in_queue і pages_crawled — перевіряйте їх, перш ніж довіряти малому результату: у ще активного сканування просто менше даних. Для повторюваних заголовків або метаописів, а не тексту, використовуйте post_dataforseo_on_page_duplicate_tags. 💰 Безкоштовно на боці апстріму: запит до завершеного сканування нічого не коштує, платити треба лише за саме сканування.

Довідкові ціни

Тарифікація: вартість відповіді за даними постачальника.
Довідкова оцінка запиту: USD 0.012.
Довідковий множник для клієнта: 1.0. Не застосовуйте його повторно до вже розрахованої суми клієнта.

Лише довідкові метадані, а не котирування для облікового запису, гарантована ціна чи ліміт витрат. Кредити ресурсів — це не кредити Felo. Остаточні списання здійснюються за записами білінгу Felo.

Тіло

application/json

Тип: array (object | null)[]
- id
  Тип: string
  
  ID завдання
  обов'язкове поле
  цей ID можна отримати у відповіді ендпоінта Task POST
  приклад:
  "07131248-1535-0216-1000-17384017ad04"
- limit
  Тип: integer | null
  
  максимальна кількість повернутих сторінок
  необов'язкове поле
  значення за замовчуванням: 100
  максимальне значення: 1000
- offset
  Тип: integer | null
  
  зміщення в масиві результатів сторінок, що повертаються
  необов'язкове поле
  значення за замовчуванням: 0
  максимальне значення: 2000000
  якщо вказати значення 10, перші десять сторінок у масиві результатів буде пропущено, а дані буде надано для наступних сторінок
- similarity
  Тип: integer | null
  
  оцінка схожості вмісту
  за замовчуванням вміст вважається дублікатом, якщо значення більше або дорівнює 6
  можна вказати будь-яку оцінку схожості в діапазоні від 0 до 10
- tag
  Тип: string | null
  
  визначений користувачем ідентифікатор завдання
  необов'язкове поле
  обмеження — 255 символів
  цей параметр дає змогу ідентифікувати завдання й зіставити його з результатом
  вказане значення tag ви знайдете в об'єкті data відповіді
- url
  Тип: string
  
  URL сторінки
  обов'язкове поле
  укажіть початкову сторінку, для якої потрібно отримати дубльований вміст

Відповіді

200
Тип: object | null · Response36Afe1097B20_OnPageDuplicateContentResponseInfo
cost
Тип: number | null Формат: double

загальна вартість завдань, USD

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут.

status_message
Тип: string | null

загальне інформаційне повідомлення. Повний список загальних інформаційних повідомлень можна знайти тут.

tasks
Тип: array (object | null)[] | null

масив завдань

Тип: object | null · Response36Afe1097B20_OnPageDuplicateContentTaskInfo
cost
Тип: number | null Формат: double

загальна вартість завдань, USD

data
Тип: object | null

містить ті самі параметри, які ви вказали в POST-запиті

propertyName
Тип: object | null
id
Тип: string | null

ідентифікатор завдання унікальний ідентифікатор завдання в нашій системі у форматі UUID

path
Тип: array (string | null)[] | null

шлях URL

result
Тип: array (object | null)[] | null

масив результатів

crawl_progress
Тип: string | null

статус сеансу сканування
можливі значення: in_progress, finished

crawl_status
Тип: object | null · Response36Afe1097B20_CrawlStatusInfo

відомості про сеанс сканування

max_crawl_pages
Тип: integer | null Формат: int64

максимальна кількість сторінок для обходу вказує ліміт max_crawl_pages, який ви задали під час постановки завдання

pages_crawled
Тип: integer | null Формат: int64

кількість обійдених сторінок

pages_in_queue
Тип: integer | null Формат: int64

кількість сторінок, які зараз перебувають у черзі на обхід

items
Тип: array (object | null)[] | null

масив елементів

pages
Тип: array (object | null)[] | null

сторінки з дубльованим вмістом

page
Тип: array (object | null)[] | null

інформація про сторінку з дубльованим вмістом

Тип: object | null · Response36Afe1097B20_OnPageHtmlResourceItem
Тип: object · Response36Afe1097B20_OnPageHtmlResourceItem
resource_type
Дискримінатор
Тип: string | null

тип елемента

broken_links
Тип: boolean | null

указує, чи містить сторінка биті посилання

broken_resources
Тип: boolean | null

указує, чи містить сторінка пошкоджені ресурси

cache_control
Тип: object | null · Response36Afe1097B20_CacheControl

інструкції з кешування

cachable
Тип: boolean | null

указує, чи можна кешувати сторінку

ttl
Тип: integer | null

час життя, час кешування ресурсу браузером

checks
Тип: object | null

перевірки сайту, перевірки на сторінці, пов'язані зі сторінкою

propertyName
Тип: boolean | null
click_depth
Тип: integer | null

кількість кліків до переходу на сторінку. Указує кількість кліків із домашньої сторінки, потрібних для переходу на цільову сторінку

content_encoding
Тип: string | null

тип кодування

custom_js_client_exception
Тип: string | null

помилка під час виконання користувацького JS. Якщо під час виконання скрипта, зазначеного в полі custom_js, сталася помилка, тут буде показано повідомлення про помилку

custom_js_response
Тип: object | null

результат виконання зазначеного JS-скрипта. Зауважте: щоб отримати ці дані, під час постановки завдання потрібно вказати поле custom_js, а тип поля та його значення повністю залежать від указаного скрипта. Результати також можна фільтрувати за цим значенням, указавши filters таким чином:["custom_js_response.url", "like", "pixel"]

duplicate_content
Тип: boolean | null

указує, чи є на сторінці дубльований вміст

duplicate_description
Тип: boolean | null

указує, чи є на сторінці дубльований опис

duplicate_title
Тип: boolean | null

указує, чи є на сторінці дубльовані теги заголовка

encoded_size
Тип: integer | null

розмір сторінки після кодування, указує розмір закодованої сторінки в байтах

fetch_time
Тип: string | null

дата й час отримання ресурсу, у форматі UTC: “yyyy-mm-dd hh-mm-ss +00:00” приклад: 2019-11-15 12:57:46 +00:00

is_resource
Тип: boolean | null

указує, чи є сторінка окремим ресурсом

last_modified
Тип: object | null · Response36Afe1097B20_LastModified

містить дані про зміни, пов'язані з ресурсом; якщо даних немає, значення буде null

header
Тип: string | null

дата й час останнього оновлення заголовка. У форматі UTC: "yyyy-mm-dd hh-mm-ss +00:00". Приклад: 2019-11-15 12:57:46 +00:00. Якщо даних немає, значення буде null

meta_tag
Тип: string | null

дата й час останнього оновлення метатега. У форматі UTC: "yyyy-mm-dd hh-mm-ss +00:00". Приклад: 2019-11-15 12:57:46 +00:00. Якщо даних немає, значення буде null

sitemap
Тип: string | null

дата й час останнього оновлення карти сайту. У форматі UTC: "yyyy-mm-dd hh-mm-ss +00:00". Приклад: 2019-11-15 12:57:46 +00:00. Якщо даних немає, значення буде null

location
Тип: string | null

заголовок location, указує URL для перенаправлення сторінки

media_type
Тип: string | null

типи медіа, що використовуються для відображення сторінки

meta
Тип: object | null · Response36Afe1097B20_PageMetaInfo

властивості сторінки. Значення залежить від resource_type

broken_html
Тип: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

помилки й попередження ресурсу

errors
Тип: array (object | null)[] | null

помилки ресурсів

column
Тип: integer | null

стовпець, у якому виявлено помилку

line
Тип: integer | null

рядок, у якому виявлено помилку

message
Тип: string | null

текстове повідомлення про помилку. Повний список можливих помилок HTML можна знайти тут

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

warnings
Тип: array (object | null)[] | null

попередження щодо ресурсів

column
Тип: integer | null

стовпець, у якому виявлено помилку

line
Тип: integer | null

рядок, у якому виявлено помилку

message
Тип: string | null

текстове повідомлення про помилку. Повний список можливих помилок HTML можна знайти тут

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

canonical
Тип: string | null

канонічна сторінка

charset
Тип: integer | null

кодова сторінка. Приклад: 65001

content
Тип: object | null · Response36Afe1097B20_HtmlContentInfo

загальна інформація про вміст сторінки

automated_readability_index
Тип: number | null

автоматичний індекс зручності читання

coleman_liau_readability_index
Тип: number | null

індекс Coleman–Liau

dale_chall_readability_index
Тип: number | null

індекс зручності читання Dale–Chall

description_to_content_consistency
Тип: number | null

відповідність тегу метаопису вмісту сторінки, вимірюється від 0 до 1

flesch_kincaid_readability_index
Тип: number | null

індекс зручності читання Flesch–Kincaid

meta_keywords_to_content_consistency
Тип: number | null

відповідність тегу мета-ключових слів вмісту сторінки, вимірюється від 0 до 1

plain_text_rate
Тип: number | null Формат: double

значення частки простого тексту відношення plain_text_size до size

plain_text_size
Тип: integer | null

загальний розмір тексту на сторінці в байтах

plain_text_word_count
Тип: integer | null

кількість слів на сторінці

smog_readability_index
Тип: number | null

індекс зручності читання SMOG

title_to_content_consistency
Тип: number | null

відповідність тегу метазаголовка вмісту сторінки, вимірюється від 0 до 1

cumulative_layout_shift
Тип: number | null

метрика Core Web Vitals, що вимірює стабільність макета сторінки. Вимірює суму всіх індивідуальних оцінок зсуву макета для кожного неочікуваного зсуву, що відбувається протягом усього строку життя сторінки. Докладніше.

deprecated_tags
Тип: array (string | null)[] | null

застарілі теги на сторінці

description
Тип: string | null

вміст метатегу description

description_length
Тип: integer | null

довжина тегу description у символах

duplicate_meta_tags
Тип: array (string | null)[] | null

дубльовані метатеги на сторінці

external_links_count
Тип: integer | null Формат: int64

кількість зовнішніх посилань на сторінці

favicon
Тип: string | null

favicon сторінки

follow
Тип: boolean | null

указує, чи дозволяє 'meta robots' сторінки сканерам переходити за посиланнями на сторінці. Якщо false, тег 'meta robots' сторінки містить параметр "nofollow", який приписує сканерам не переходити за посиланнями на сторінці

generator
Тип: string | null

генератор метатегів

htags
Тип: object | null

теги заголовків HTML

propertyName
Тип: array string[] | null
images_count
Тип: integer | null Формат: int64

кількість зображень на сторінці

images_size
Тип: integer | null

загальний розмір зображень на сторінці в байтах

inbound_links_count
Тип: integer | null Формат: int64

кількість внутрішніх посилань, що ведуть на сторінку

internal_links_count
Тип: integer | null Формат: int64

кількість внутрішніх посилань на сторінці

meta_keywords
Тип: string | null

вміст метатегу keywords

meta_title
Тип: string | null

метазаголовок сторінки. Метатег у розділі head HTML-документа, що визначає заголовок сторінки

render_blocking_scripts_count
Тип: integer | null Формат: int64

кількість скриптів на сторінці, які блокують рендеринг сторінки

render_blocking_stylesheets_count
Тип: integer | null Формат: int64

кількість CSS-стилів на сторінці, які блокують рендеринг сторінки

scripts_count
Тип: integer | null Формат: int64

кількість скриптів на сторінці

scripts_size
Тип: integer | null

загальний розмір скриптів на сторінці в байтах

social_media_tags
Тип: object | null
propertyName
Тип: string | null
spell
Тип: object | null · Response36Afe1097B20_HunspellInfo

перевірка орфографії. Помилки перевірки орфографії hunspell

hunspell_language_code
Тип: string | null

код мови перевірки орфографії

misspelled
Тип: array (object | null)[] | null

масив слів з орфографічними помилками

word
Тип: string | null

слово з орфографічною помилкою

stylesheets_count
Тип: integer | null Формат: int64

кількість таблиць стилів на сторінці

stylesheets_size
Тип: integer | null

загальний розмір таблиць стилів на сторінці в байтах

title
Тип: string | null

заголовок сторінки

title_length
Тип: integer | null

довжина тегу title у символах

onpage_score
Тип: number | null

показує, наскільки сторінка оптимізована за 100-бальною шкалою. Це поле показує, наскільки сторінка оптимізована з огляду на виявлені критичні проблеми та попередження;100 — максимально можлива оцінка, що означає, що на сторінці немає критичних проблем і важливих попереджень;докладніше про розрахунок метрики — у цій статті довідкового центру

page_timing
Тип: object | null · Response36Afe1097B20_PageTiming

об'єкт метрик завантаження сторінки

connection_time
Тип: integer | null

час підключення до сервера. Час до встановлення з'єднання із сервером (у мілісекундах)

dom_complete
Тип: integer | null

час завантаження ресурсів. Час до завантаження сторінки та всіх її підресурсів (у мілісекундах)

download_time
Тип: integer | null

час отримання відповіді браузером (у мілісекундах)

duration_time
Тип: integer | null

загальний час, за який браузер отримує повну відповідь від сервера (у мілісекундах)

fetch_end
Тип: integer | null

час завершення завантаження HTML-ресурсу. Час, потрібний браузеру, щоб завершити завантаження сторінки

fetch_start
Тип: integer | null

час початку завантаження HTML-ресурсу. Час, потрібний браузеру, щоб почати завантаження сторінки

first_input_delay
Тип: number | null

метрика Core Web Vitals, що відображає швидкість реагування сторінки. Час (у мілісекундах) від першої взаємодії користувача зі сторінкою до відповіді браузера на цю взаємодію. Докладніше.

largest_contentful_paint
Тип: number | null

метрика Core Web Vitals, що вимірює, наскільки швидко відображається найбільший елемент вмісту у верхній частині екрана. Час (у мілісекундах) на рендеринг найбільшого елемента вмісту, видимого в області перегляду, від моменту запиту URL користувачем. Докладніше.

request_sent_time
Тип: integer | null

час надсилання запиту на сервер. Час до надсилання запиту на сервер (у мілісекундах)

time_to_interactive
Тип: integer | null

метрика Time To Interactive (TTI). Час до того, як користувач зможе взаємодіяти зі сторінкою (у мілісекундах)

time_to_secure_connection
Тип: integer | null

час встановлення захищеного з'єднання. Час до встановлення захищеного з'єднання із сервером (у мілісекундах)

waiting_time
Тип: integer | null

час до першого байта (TTFB) у мілісекундах

relative_url_length
Тип: integer | null

відносна довжина URL у символах

resource_errors
Тип: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

помилки й попередження ресурсу

errors
Тип: array (object | null)[] | null

помилки ресурсів

column
Тип: integer | null

стовпець, у якому виявлено помилку

line
Тип: integer | null

рядок, у якому виявлено помилку

message
Тип: string | null

текстове повідомлення про помилку. Повний список можливих помилок HTML можна знайти тут

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

warnings
Тип: array (object | null)[] | null

попередження щодо ресурсів

column
Тип: integer | null

стовпець, у якому виявлено помилку

line
Тип: integer | null

рядок, у якому виявлено помилку

message
Тип: string | null

текстове повідомлення про помилку. Повний список можливих помилок HTML можна знайти тут

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

server
Тип: string | null

версія сервера

size
Тип: integer | null

розмір ресурсу, указує розмір цієї сторінки в байтах

status_code
Тип: integer | null

загальний код стану. Повний список кодів відповіді можна знайти тут. Примітка: ми наполегливо рекомендуємо передбачити систему обробки пов'язаних виняткових ситуацій і помилок.

total_dom_size
Тип: integer | null Формат: int64

загальний розмір DOM сторінки

total_transfer_size
Тип: integer | null Формат: int64

розмір стисненої сторінки, указує розмір цієї сторінки після стиснення

url
Тип: string | null

URL сторінки

url_length
Тип: integer | null

довжина URL сторінки в символах

similarity
Тип: integer | null

Integer numbers.

total_count
Тип: integer | null Формат: int64

загальна кількість дубльованих сторінок

url
Тип: string | null

URL зазначеної сторінки

items_count
Тип: integer | null Формат: int64

кількість елементів у масиві результатів

result_count
Тип: integer | null Формат: int64

кількість елементів у масиві result

status_code
Тип: integer | null

код стану завдання формується DataForSEO, може перебувати в діапазоні 10000-60000 Повний список кодів відповіді можна знайти тут.

status_message
Тип: string | null

інформаційне повідомлення завдання Повний список загальних інформаційних повідомлень можна знайти тут.

time
Тип: string | null

час виконання, секунди

tasks_count
Тип: integer | null Формат: int64

кількість завдань у масиві tasks

tasks_error
Тип: integer | null Формат: int64

кількість завдань у масиві tasks, повернутих з помилкою

time
Тип: string | null

загальний час виконання, секунди

version
Тип: string | null

поточна версія API
application/json
400

Не вдалося обробити запит. Перевірте параметри запиту.
401

Потрібен дійсний API-ключ Felo.
402

Запит неможливо виконати: умови білінгу не виконано.
403

Обліковий запис не має дозволу на цю операцію.
429

Досягнуто ліміту запитів або витрат.
502

Служба не змогла виконати запит.
503

API або служба білінгу тимчасово недоступні.
504

Час очікування обробки запиту вичерпано.
default

Відповідь із помилкою; наскрізні відповіді апстріму можуть використовувати формати постачальника

application/json

post/v1/beta/dataforseo/on_page/duplicate_content

curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/duplicate_content \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "url": "https://www.etsy.com/"
  }
]'

Показати схему

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "items_count": null,
          "items": [
            {
              "url": null,
              "total_count": null,
              "pages": [
                "[Max Depth Exceeded]"
              ]
            }
          ]
        }
      ]
    }
  ]
}

Успішна операція

Дубльований вміст OnPage API

АвтентифікаціяRequired

DataForSEO

Дубльований вміст OnPage API

Довідкові ціни