Felo API PlatformFelo API Platform
Все эндпоинты DataForSEO
v0.2.0-beta
OpenAPI 3.1.0

Дублирующийся контент OnPage API

Felo API Support
MIT
Сервер:https://openapi.felo.ai
Клиентские библиотеки
Shell Curl

DataForSEO

​

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO Операции

Дублирующийся контент OnPage API

​

Страницы внутри сканирования, контент которых похож на заданный url выше порога similarity. Читает завершённое сканирование, поэтому нужен id из post_dataforseo_on_page_submit, и возвращает crawl_progress и crawl_status со значениями max_crawl_pages, pages_in_queue и pages_crawled — проверяйте их, прежде чем доверять небольшому результату: у ещё идущего сканирования просто меньше данных. Для повторяющихся заголовков или метаописаний, а не текста, используйте post_dataforseo_on_page_duplicate_tags. 💰 Бесплатно на стороне апстрима: запрос к завершённому сканированию ничего не стоит, платить нужно только за само сканирование.

Справочная информация о ценах

  • Тарификация: заявленная стоимость ответа.
  • Справочная оценка запроса: USD 0.012.
  • Справочный множитель для клиента: 1.0. Не применяйте его повторно к уже рассчитанной сумме клиента.

Только справочные метаданные, а не котировка для аккаунта, гарантированная цена или лимит расходов. Кредиты ресурсов — не кредиты Felo. Итоговые списания определяются записями биллинга Felo.

Тело
application/json
  • Тип: array (object | null)[]
    • id
      Тип: string

      ID задачи
      обязательное поле
      этот ID можно получить в ответе эндпоинта Task POST
      пример:
      "07131248-1535-0216-1000-17384017ad04"

    • limit
      Тип: integer | null

      максимальное количество возвращаемых страниц
      необязательное поле
      значение по умолчанию: 100
      максимальное значение: 1000

    • offset
      Тип: integer | null

      смещение в массиве результатов возвращаемых страниц
      необязательное поле
      значение по умолчанию: 0
      максимальное значение: 2000000
      если указать значение 10, первые десять страниц в массиве результатов будут пропущены, а данные будут предоставлены для последующих страниц

    • similarity
      Тип: integer | null

      оценка схожести контента
      по умолчанию контент считается дубликатом, если значение больше или равно 6
      можно указать любую оценку схожести в диапазоне от 0 до 10

    • tag
      Тип: string | null

      пользовательский идентификатор задачи
      необязательное поле
      ограничение — 255 символов
      этот параметр позволяет идентифицировать задачу и сопоставить её с результатом
      указанное значение tag вы найдёте в объекте data ответа

    • url
      Тип: string

      URL страницы
      обязательное поле
      укажите исходную страницу, для которой нужно получить дублирующийся контент

Ответы
  • 200
    Тип: object | null · Response36Afe1097B20_OnPageDuplicateContentResponseInfo
    • cost
      Тип: number | null Формат: double

      общая стоимость задач, USD

    • status_code
      Тип: integer | null

      общий код состояния. Полный список кодов ответа можно найти здесь.

    • status_message
      Тип: string | null

      общее информационное сообщение. Полный список общих информационных сообщений можно найти здесь.

    • tasks
      Тип: array (object | null)[] | null

      массив задач

      • Тип: object | null · Response36Afe1097B20_OnPageDuplicateContentTaskInfo
        • cost
          Тип: number | null Формат: double

          общая стоимость задач, USD

        • data
          Тип: object | null

          содержит те же параметры, что вы указали в POST-запросе

          • propertyName
            Тип: object | null
        • id
          Тип: string | null

          идентификатор задачи уникальный идентификатор задачи в нашей системе в формате UUID

        • path
          Тип: array (string | null)[] | null

          путь URL

        • result
          Тип: array (object | null)[] | null

          массив результатов

          • crawl_progress
            Тип: string | null

            статус сеанса сканирования
            возможные значения: in_progress, finished

          • crawl_status
            Тип: object | null · Response36Afe1097B20_CrawlStatusInfo

            сведения о сеансе сканирования

            • max_crawl_pages
              Тип: integer | null Формат: int64

              максимальное количество страниц для обхода указывает заданный при постановке задачи лимит max_crawl_pages

            • pages_crawled
              Тип: integer | null Формат: int64

              количество просканированных страниц

            • pages_in_queue
              Тип: integer | null Формат: int64

              количество страниц, которые сейчас находятся в очереди на сканирование

          • items
            Тип: array (object | null)[] | null

            массив элементов

            • pages
              Тип: array (object | null)[] | null

              страницы с дублированным контентом

              • page
                Тип: array (object | null)[] | null

                информация о странице с дублирующимся контентом

                • Тип: object | null · Response36Afe1097B20_OnPageHtmlResourceItem
                    • Тип: object · Response36Afe1097B20_OnPageHtmlResourceItem
                      • resource_type
                        Дискриминатор
                        Тип: string | null

                        тип элемента

                      • broken_links
                        Тип: boolean | null

                        указывает, содержит ли страница битые ссылки

                      • broken_resources
                        Тип: boolean | null

                        указывает, содержит ли страница битые ресурсы

                      • cache_control
                        Тип: object | null · Response36Afe1097B20_CacheControl

                        инструкции по кэшированию

                        • cachable
                          Тип: boolean | null

                          указывает, можно ли кэшировать страницу

                        • ttl
                          Тип: integer | null

                          время жизни, время кэширования ресурса браузером

                      • checks
                        Тип: object | null

                        проверки сайта, проверки на странице, связанные со страницей

                        • propertyName
                          Тип: boolean | null
                      • click_depth
                        Тип: integer | null

                        количество кликов до перехода на страницу. Указывает количество кликов с домашней страницы, необходимое для перехода на целевую страницу

                      • content_encoding
                        Тип: string | null

                        тип кодировки

                      • custom_js_client_exception
                        Тип: string | null

                        ошибка при выполнении пользовательского JS. Если при выполнении скрипта, указанного в поле custom_js, произошла ошибка, здесь будет показано сообщение об ошибке

                      • custom_js_response
                        Тип: object | null

                        результат выполнения указанного JS-скрипта. Обратите внимание: чтобы получить эти данные, при постановке задачи нужно указать поле custom_js, а тип поля и его значение полностью зависят от указанного скрипта. Результаты также можно фильтровать по этому значению, указав filters следующим образом:["custom_js_response.url", "like", "pixel"]

                      • duplicate_content
                        Тип: boolean | null

                        указывает, есть ли на странице дублированный контент

                      • duplicate_description
                        Тип: boolean | null

                        указывает, есть ли на странице дублированное описание

                      • duplicate_title
                        Тип: boolean | null

                        указывает, есть ли на странице дублированные теги заголовка

                      • encoded_size
                        Тип: integer | null

                        размер страницы после кодирования, указывает размер закодированной страницы в байтах

                      • fetch_time
                        Тип: string | null

                        дата и время получения ресурса, в формате UTC: “yyyy-mm-dd hh-mm-ss +00:00” пример: 2019-11-15 12:57:46 +00:00

                      • is_resource
                        Тип: boolean | null

                        указывает, является ли страница отдельным ресурсом

                      • last_modified
                        Тип: object | null · Response36Afe1097B20_LastModified

                        содержит данные об изменениях, связанных с ресурсом; если данных нет, значение будет null

                        • header
                          Тип: string | null

                          дата и время последнего изменения заголовка. В формате UTC: "yyyy-mm-dd hh-mm-ss +00:00". Пример: 2019-11-15 12:57:46 +00:00. Если данных нет, значение будет null

                        • meta_tag
                          Тип: string | null

                          дата и время последнего изменения метатега. В формате UTC: "yyyy-mm-dd hh-mm-ss +00:00". Пример: 2019-11-15 12:57:46 +00:00. Если данных нет, значение будет null

                        • sitemap
                          Тип: string | null

                          дата и время последнего изменения карты сайта. В формате UTC: "yyyy-mm-dd hh-mm-ss +00:00". Пример: 2019-11-15 12:57:46 +00:00. Если данных нет, значение будет null

                      • location
                        Тип: string | null

                        заголовок location, указывает URL для перенаправления страницы

                      • media_type
                        Тип: string | null

                        типы медиа, используемые для отображения страницы

                      • meta
                        Тип: object | null · Response36Afe1097B20_PageMetaInfo

                        свойства страницы. Значение зависит от resource_type

                        • broken_html
                          Тип: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

                          ошибки и предупреждения ресурса

                          • errors
                            Тип: array (object | null)[] | null

                            ошибки ресурсов

                            • column
                              Тип: integer | null

                              столбец, в котором обнаружена ошибка

                            • line
                              Тип: integer | null

                              строка, в которой обнаружена ошибка

                            • message
                              Тип: string | null

                              текстовое сообщение об ошибке. Полный список возможных ошибок HTML можно найти здесь

                            • status_code
                              Тип: integer | null

                              общий код состояния. Полный список кодов ответа можно найти здесь. Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок.

                          • warnings
                            Тип: array (object | null)[] | null

                            предупреждения по ресурсам

                            • column
                              Тип: integer | null

                              столбец, в котором обнаружена ошибка

                            • line
                              Тип: integer | null

                              строка, в которой обнаружена ошибка

                            • message
                              Тип: string | null

                              текстовое сообщение об ошибке. Полный список возможных ошибок HTML можно найти здесь

                            • status_code
                              Тип: integer | null

                              общий код состояния. Полный список кодов ответа можно найти здесь. Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок.

                        • canonical
                          Тип: string | null

                          каноническая страница

                        • charset
                          Тип: integer | null

                          кодовая страница. Пример: 65001

                        • content
                          Тип: object | null · Response36Afe1097B20_HtmlContentInfo

                          общая информация о содержимом страницы

                          • automated_readability_index
                            Тип: number | null

                            автоматический индекс удобочитаемости

                          • coleman_liau_readability_index
                            Тип: number | null

                            индекс Coleman–Liau

                          • dale_chall_readability_index
                            Тип: number | null

                            индекс удобочитаемости Dale–Chall

                          • description_to_content_consistency
                            Тип: number | null

                            соответствие тега метаописания содержимому страницы, измеряется от 0 до 1

                          • flesch_kincaid_readability_index
                            Тип: number | null

                            индекс удобочитаемости Flesch–Kincaid

                          • meta_keywords_to_content_consistency
                            Тип: number | null

                            соответствие тега мета-ключевых слов содержимому страницы, измеряется от 0 до 1

                          • plain_text_rate
                            Тип: number | null Формат: double

                            значение доли простого текста отношение plain_text_size к size

                          • plain_text_size
                            Тип: integer | null

                            общий размер текста на странице в байтах

                          • plain_text_word_count
                            Тип: integer | null

                            число слов на странице

                          • smog_readability_index
                            Тип: number | null

                            индекс удобочитаемости SMOG

                          • title_to_content_consistency
                            Тип: number | null

                            соответствие тега метазаголовка содержимому страницы, измеряется от 0 до 1

                        • cumulative_layout_shift
                          Тип: number | null

                          метрика Core Web Vitals, измеряющая стабильность макета страницы. Измеряет сумму всех индивидуальных оценок сдвига макета для каждого неожиданного сдвига, происходящего в течение всего срока жизни страницы. Подробнее.

                        • deprecated_tags
                          Тип: array (string | null)[] | null

                          устаревшие теги на странице

                        • description
                          Тип: string | null

                          содержимое метатега description

                        • description_length
                          Тип: integer | null

                          длина тега description в символах

                        • duplicate_meta_tags
                          Тип: array (string | null)[] | null

                          дублированные метатеги на странице

                        • external_links_count
                          Тип: integer | null Формат: int64

                          количество внешних ссылок на странице

                        • favicon
                          Тип: string | null

                          favicon страницы

                        • follow
                          Тип: boolean | null

                          указывает, разрешает ли 'meta robots' страницы сканерам переходить по ссылкам на странице. Если false, тег 'meta robots' страницы содержит параметр "nofollow", предписывающий сканерам не переходить по ссылкам на странице

                        • generator
                          Тип: string | null

                          генератор метатегов

                        • htags
                          Тип: object | null

                          теги заголовков HTML

                          • propertyName
                            Тип: array string[] | null
                        • images_count
                          Тип: integer | null Формат: int64

                          количество изображений на странице

                        • images_size
                          Тип: integer | null

                          общий размер изображений на странице в байтах

                        • inbound_links_count
                          Тип: integer | null Формат: int64

                          количество внутренних ссылок, ведущих на страницу

                        • internal_links_count
                          Тип: integer | null Формат: int64

                          количество внутренних ссылок на странице

                        • meta_keywords
                          Тип: string | null

                          содержимое метатега keywords

                        • meta_title
                          Тип: string | null

                          метазаголовок страницы. Метатег в разделе head HTML-документа, определяющий заголовок страницы

                        • render_blocking_scripts_count
                          Тип: integer | null Формат: int64

                          количество скриптов на странице, блокирующих рендеринг страницы

                        • render_blocking_stylesheets_count
                          Тип: integer | null Формат: int64

                          количество CSS-стилей на странице, блокирующих рендеринг страницы

                        • scripts_count
                          Тип: integer | null Формат: int64

                          количество скриптов на странице

                        • scripts_size
                          Тип: integer | null

                          общий размер скриптов на странице в байтах

                        • social_media_tags
                          Тип: object | null
                          • propertyName
                            Тип: string | null
                        • spell
                          Тип: object | null · Response36Afe1097B20_HunspellInfo

                          проверка орфографии. Ошибки проверки орфографии hunspell

                          • hunspell_language_code
                            Тип: string | null

                            код языка проверки орфографии

                          • misspelled
                            Тип: array (object | null)[] | null

                            массив слов с орфографическими ошибками

                            • word
                              Тип: string | null

                              слово с орфографической ошибкой

                        • stylesheets_count
                          Тип: integer | null Формат: int64

                          количество таблиц стилей на странице

                        • stylesheets_size
                          Тип: integer | null

                          общий размер таблиц стилей на странице в байтах

                        • title
                          Тип: string | null

                          заголовок страницы

                        • title_length
                          Тип: integer | null

                          длина тега title в символах

                      • onpage_score
                        Тип: number | null

                        показывает, насколько страница оптимизирована по 100-балльной шкале. Это поле показывает, насколько страница оптимизирована с учётом обнаруженных критических проблем и предупреждений;100 — максимально возможная оценка, означающая, что на странице нет критических проблем и важных предупреждений;подробнее о расчёте метрики — в этой статье справочного центра

                      • page_timing
                        Тип: object | null · Response36Afe1097B20_PageTiming

                        объект метрик загрузки страницы

                        • connection_time
                          Тип: integer | null

                          время подключения к серверу. Время до установления соединения с сервером (в миллисекундах)

                        • dom_complete
                          Тип: integer | null

                          время загрузки ресурсов. Время до загрузки страницы и всех её подресурсов (в миллисекундах)

                        • download_time
                          Тип: integer | null

                          время получения ответа браузером (в миллисекундах)

                        • duration_time
                          Тип: integer | null

                          общее время, за которое браузер получает полный ответ от сервера (в миллисекундах)

                        • fetch_end
                          Тип: integer | null

                          время завершения загрузки HTML-ресурса. Время, которое нужно браузеру, чтобы завершить загрузку страницы

                        • fetch_start
                          Тип: integer | null

                          время начала загрузки HTML-ресурса. Время, которое нужно браузеру, чтобы начать загрузку страницы

                        • first_input_delay
                          Тип: number | null

                          метрика Core Web Vitals, отражающая отзывчивость страницы. Время (в миллисекундах) от первого взаимодействия пользователя со страницей до ответа браузера на это взаимодействие. Подробнее.

                        • largest_contentful_paint
                          Тип: number | null

                          метрика Core Web Vitals, измеряющая, насколько быстро отображается самый большой элемент контента в верхней части экрана. Время (в миллисекундах) на отрисовку самого большого элемента контента, видимого в области просмотра, с момента запроса URL пользователем. Подробнее.

                        • request_sent_time
                          Тип: integer | null

                          время отправки запроса на сервер. Время до отправки запроса на сервер (в миллисекундах)

                        • time_to_interactive
                          Тип: integer | null

                          метрика Time To Interactive (TTI). Время до того, как пользователь сможет взаимодействовать со страницей (в миллисекундах)

                        • time_to_secure_connection
                          Тип: integer | null

                          время установления защищённого соединения. Время до установления защищённого соединения с сервером (в миллисекундах)

                        • waiting_time
                          Тип: integer | null

                          время до первого байта (TTFB) в миллисекундах

                      • relative_url_length
                        Тип: integer | null

                        относительная длина URL в символах

                      • resource_errors
                        Тип: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

                        ошибки и предупреждения ресурса

                        • errors
                          Тип: array (object | null)[] | null

                          ошибки ресурсов

                          • column
                            Тип: integer | null

                            столбец, в котором обнаружена ошибка

                          • line
                            Тип: integer | null

                            строка, в которой обнаружена ошибка

                          • message
                            Тип: string | null

                            текстовое сообщение об ошибке. Полный список возможных ошибок HTML можно найти здесь

                          • status_code
                            Тип: integer | null

                            общий код состояния. Полный список кодов ответа можно найти здесь. Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок.

                        • warnings
                          Тип: array (object | null)[] | null

                          предупреждения по ресурсам

                          • column
                            Тип: integer | null

                            столбец, в котором обнаружена ошибка

                          • line
                            Тип: integer | null

                            строка, в которой обнаружена ошибка

                          • message
                            Тип: string | null

                            текстовое сообщение об ошибке. Полный список возможных ошибок HTML можно найти здесь

                          • status_code
                            Тип: integer | null

                            общий код состояния. Полный список кодов ответа можно найти здесь. Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок.

                      • server
                        Тип: string | null

                        версия сервера

                      • size
                        Тип: integer | null

                        размер ресурса, указывает размер данной страницы в байтах

                      • status_code
                        Тип: integer | null

                        общий код состояния. Полный список кодов ответа можно найти здесь. Примечание: мы настоятельно рекомендуем предусмотреть систему обработки связанных исключительных ситуаций и ошибок.

                      • total_dom_size
                        Тип: integer | null Формат: int64

                        общий размер DOM страницы

                      • total_transfer_size
                        Тип: integer | null Формат: int64

                        размер сжатой страницы, указывает размер данной страницы после сжатия

                      • url
                        Тип: string | null

                        URL страницы

                      • url_length
                        Тип: integer | null

                        длина URL страницы в символах

              • similarity
                Тип: integer | null

                Integer numbers.

            • total_count
              Тип: integer | null Формат: int64

              общее количество дублированных страниц

            • url
              Тип: string | null

              URL указанной страницы

          • items_count
            Тип: integer | null Формат: int64

            количество элементов в массиве результатов

        • result_count
          Тип: integer | null Формат: int64

          число элементов в массиве result

        • status_code
          Тип: integer | null

          код состояния задачи формируется DataForSEO, может находиться в диапазоне 10000-60000 Полный список кодов ответа можно найти здесь.

        • status_message
          Тип: string | null

          информационное сообщение задачи Полный список общих информационных сообщений можно найти здесь.

        • time
          Тип: string | null

          время выполнения, секунды

    • tasks_count
      Тип: integer | null Формат: int64

      число задач в массиве tasks

    • tasks_error
      Тип: integer | null Формат: int64

      число задач в массиве tasks, возвращённых с ошибкой

    • time
      Тип: string | null

      общее время выполнения, секунды

    • version
      Тип: string | null

      текущая версия API

    application/json
  • 400

    Запрос не удалось обработать. Проверьте параметры запроса.

  • 401

    Требуется действительный API-ключ Felo.

  • 402

    Запрос не может быть выполнен: не выполнено требование биллинга.

  • 403

    Аккаунту не разрешено выполнять эту операцию.

  • 429

    Достигнут лимит запросов или расходов.

  • 502

    Сервис не смог выполнить запрос.

  • 503

    API или сервис биллинга временно недоступны.

  • 504

    Истекло время ожидания обработки запроса.

  • default

    Ответ с ошибкой; сквозные ответы upstream могут использовать форматы провайдера

    application/json
Request Example for post/v1/beta/dataforseo/on_page/duplicate_content
curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/duplicate_content \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "url": "https://www.etsy.com/"
  }
]'

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "items_count": null,
          "items": [
            {
              "url": null,
              "total_count": null,
              "pages": [
                "[Max Depth Exceeded]"
              ]
            }
          ]
        }
      ]
    }
  ]
}

Успешная операция

OnPage API Duplicate Content

Нужна помощь?