v0.2.0-beta

OpenAPI 3.1.0

OnPage API 重复内容

Felo API Support

MIT

服务器

https://openapi.felo.ai

客户端库

Shell Curl

DataForSEO

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO 操作

post/v1/beta/dataforseo/on_page/duplicate_content

OnPage API 重复内容

抓取中内容与给定 url 相似且高于 similarity 阈值的页面。它读取已完成的抓取，因此需要 post_dataforseo_on_page_submit 返回的 id，并返回 crawl_progress 以及由 max_crawl_pages、pages_in_queue 和 pages_crawled 组成的 crawl_status——在相信一个很小的结果之前请先检查这些字段，因为仍在运行的抓取本来就没有多少可报告的内容。如需重复的标题或元描述而非正文，请使用 post_dataforseo_on_page_duplicate_tags。💰 上游免费：查询已完成的抓取不产生费用，只有抓取本身收费。

计费参考

计量方式：按上报的响应成本计量。
参考请求估算：0.012 美元。
参考客户倍率：1.0。不得对已结算的客户金额再次应用。

仅供参考的元数据，不是账户报价、保证价格或消费上限。资源额度不同于 Felo 额度。最终扣费以 Felo 计费记录为准。

请求体

application/json

类型: array (object | null)[]
- id
  类型: string
  
  任务 ID
  必填字段
  你可以在 Task POST 端点的响应中获取此 ID
  示例：
  "07131248-1535-0216-1000-17384017ad04"
- limit
  类型: integer | null
  
  返回页面的最大数量
  可选字段
  默认值：100
  最大值：1000
- offset
  类型: integer | null
  
  返回页面结果数组中的偏移量
  可选字段
  默认值：0
  最大值：2000000
  如果指定 10，结果数组中的前十个页面将被省略，数据将针对后续页面提供
- similarity
  类型: integer | null
  
  内容相似度分数
  默认情况下，如果该值大于或等于 6，内容将被视为重复
  你可以指定 0 到 10 范围内的任意相似度分数
- tag
  类型: string | null
  
  用户自定义任务标识符
  可选字段
  字符数上限为 255
  可使用此参数标识任务，并将其与结果对应
  可在响应的 data 对象中找到指定的 tag 值
- url
  类型: string
  
  页面 URL
  必填字段
  指定你想获取重复内容所对应的初始页面

响应

200
类型: object | null · Response36Afe1097B20_OnPageDuplicateContentResponseInfo
cost
类型: number | null 格式: double

任务总费用，美元

status_code
类型: integer | null

通用状态码完整响应码列表见此处

status_message
类型: string | null

通用信息性消息完整的一般信息性消息列表见此处

tasks
类型: array (object | null)[] | null

任务数组

类型: object | null · Response36Afe1097B20_OnPageDuplicateContentTaskInfo
cost
类型: number | null 格式: double

任务总费用，美元

data
类型: object | null

包含你在 POST 请求中指定的相同参数

propertyName
类型: object | null
id
类型: string | null

任务标识符我们系统中 UUID 格式的唯一任务标识符

path
类型: array (string | null)[] | null

URL 路径

result
类型: array (object | null)[] | null

结果数组

crawl_progress
类型: string | null

抓取会话的状态
可能的值：in_progress、finished

crawl_status
类型: object | null · Response36Afe1097B20_CrawlStatusInfo

抓取会话的详细信息

max_crawl_pages
类型: integer | null 格式: int64

爬取页面数上限表示设置任务时指定的 max_crawl_pages 限制

pages_crawled
类型: integer | null 格式: int64

已爬取的页面数量

pages_in_queue
类型: integer | null 格式: int64

当前在爬取队列中的页面数量

items
类型: array (object | null)[] | null

条目数组

pages
类型: array (object | null)[] | null

内容重复的页面

page
类型: array (object | null)[] | null

重复内容页面的信息

类型: object | null · Response36Afe1097B20_OnPageHtmlResourceItem
类型: object · Response36Afe1097B20_OnPageHtmlResourceItem
resource_type
鉴别器
类型: string | null

元素类型

broken_links
类型: boolean | null

表示页面是否包含损坏链接

broken_resources
类型: boolean | null

表示页面是否包含损坏资源

cache_control
类型: object | null · Response36Afe1097B20_CacheControl

缓存说明

cachable
类型: boolean | null

表示页面是否可缓存

ttl
类型: integer | null

生存时间，浏览器缓存资源的时间长度

checks
类型: object | null

网站检查：与页面相关的页内检查项

propertyName
类型: boolean | null
click_depth
类型: integer | null

到达页面所需的点击次数：表示从首页到达目标页面所需的点击数

content_encoding
类型: string | null

编码类型

custom_js_client_exception
类型: string | null

执行自定义 JS 时的错误：如果在执行 custom_js 字段中指定的脚本时发生错误，错误信息将显示在此处

custom_js_response
类型: object | null

执行指定 JS 脚本的结果：请注意，需在设置任务时指定 custom_js 字段才能收到此数据，字段类型及其值完全取决于所指定的脚本；也可以按此值筛选结果，方式如下：["custom_js_response.url", "like", "pixel"]

duplicate_content
类型: boolean | null

表示页面是否包含重复内容

duplicate_description
类型: boolean | null

表示页面是否包含重复描述

duplicate_title
类型: boolean | null

表示页面是否包含重复标题标签

encoded_size
类型: integer | null

编码后的页面大小，表示编码后页面的字节大小

fetch_time
类型: string | null

获取资源的日期和时间，采用 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00”，示例：2019-11-15 12:57:46 +00:00

is_resource
类型: boolean | null

表示页面是否为单一资源

last_modified
类型: object | null · Response36Afe1097B20_LastModified

包含与资源相关的变更数据，若无数据，该值为 null

header
类型: string | null

标头上次修改的日期和时间 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00” 示例： 2019-11-15 12:57:46 +00:00 如果没有数据，该值将为 null

meta_tag
类型: string | null

元标签上次修改的日期和时间 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00” 示例： 2019-11-15 12:57:46 +00:00 如果没有数据，该值将为 null

sitemap
类型: string | null

站点地图上次修改的日期和时间 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00” 示例： 2019-11-15 12:57:46 +00:00 如果没有数据，该值将为 null

location
类型: string | null

Location 头，表示将页面重定向到的 URL

media_type
类型: string | null

用于显示页面的媒体类型

meta
类型: object | null · Response36Afe1097B20_PageMetaInfo

页面属性：该值取决于 resource_type

broken_html
类型: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

资源错误和警告

errors
类型: array (object | null)[] | null

资源错误

column
类型: integer | null

发现错误的列

line
类型: integer | null

发现错误的行

message
类型: string | null

错误的文本消息：可能的 HTML 错误完整列表可在此处找到

status_code
类型: integer | null

通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

warnings
类型: array (object | null)[] | null

资源警告

column
类型: integer | null

发现错误的列

line
类型: integer | null

发现错误的行

message
类型: string | null

错误的文本消息：可能的 HTML 错误完整列表可在此处找到

status_code
类型: integer | null

通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

canonical
类型: string | null

规范页面

charset
类型: integer | null

代码页：示例：65001

content
类型: object | null · Response36Afe1097B20_HtmlContentInfo

页面内容的总体信息

automated_readability_index
类型: number | null

自动可读性指数

coleman_liau_readability_index
类型: number | null

Coleman–Liau 指数

dale_chall_readability_index
类型: number | null

Dale–Chall 可读性指数

description_to_content_consistency
类型: number | null

meta description 标签与页面内容的一致性；测量值为 0 到 1

flesch_kincaid_readability_index
类型: number | null

Flesch–Kincaid 可读性指数

meta_keywords_to_content_consistency
类型: number | null

meta keywords 标签与页面内容的一致性；测量值为 0 到 1

plain_text_rate
类型: number | null 格式: double

纯文本比率值 plain_text_size 与 size 的比值

plain_text_size
类型: integer | null

页面上文本的总大小，以字节为单位

plain_text_word_count
类型: integer | null

页面上的单词数量

smog_readability_index
类型: number | null

SMOG 可读性指数

title_to_content_consistency
类型: number | null

meta title 标签与页面内容的一致性；测量值为 0 到 1

cumulative_layout_shift
类型: number | null

衡量页面布局稳定性的 Core Web Vitals 指标：衡量页面整个生命周期内每次意外布局偏移的所有单独布局偏移分数之和。了解更多。

deprecated_tags
类型: array (string | null)[] | null

页面上的已弃用标签

description
类型: string | null

meta 描述标签的内容

description_length
类型: integer | null

描述标签的字符长度

duplicate_meta_tags
类型: array (string | null)[] | null

页面上的重复 meta 标签

external_links_count
类型: integer | null 格式: int64

页面上的外部链接数

favicon
类型: string | null

页面的 favicon

follow
类型: boolean | null

表示页面的“meta robots”是否允许爬虫跟踪页面上的链接：如果为 false，页面的“meta robots”标签包含 "nofollow" 参数，指示爬虫不要跟踪页面上的链接

generator
类型: string | null

meta 标签生成器

htags
类型: object | null

HTML 头部标签

propertyName
类型: array string[] | null
images_count
类型: integer | null 格式: int64

页面上的图片数

images_size
类型: integer | null

页面上图片的总大小（字节）

inbound_links_count
类型: integer | null 格式: int64

指向该页面的内部链接数

internal_links_count
类型: integer | null 格式: int64

页面上的内部链接数

meta_keywords
类型: string | null

关键词 meta 标签的内容

meta_title
类型: string | null

页面的 meta 标题：定义页面标题的 HTML 文档 head 部分的 meta 标签

render_blocking_scripts_count
类型: integer | null 格式: int64

页面上阻止页面渲染的脚本数

render_blocking_stylesheets_count
类型: integer | null 格式: int64

页面上阻止页面渲染的 CSS 样式数

scripts_count
类型: integer | null 格式: int64

页面上的脚本数

scripts_size
类型: integer | null

页面上脚本的总大小（字节）

social_media_tags
类型: object | null
propertyName
类型: string | null
spell
类型: object | null · Response36Afe1097B20_HunspellInfo

拼写检查 hunspell 拼写检查错误

hunspell_language_code
类型: string | null

拼写检查语言代码

misspelled
类型: array (object | null)[] | null

拼写错误单词数组

word
类型: string | null

拼写错误的单词

stylesheets_count
类型: integer | null 格式: int64

页面上的样式表数

stylesheets_size
类型: integer | null

页面上样式表的总大小（字节）

title
类型: string | null

页面标题

title_length
类型: integer | null

标题标签的字符长度

onpage_score
类型: number | null

以 100 分制显示页面优化情况：该字段显示在考虑检测到的关键页面问题和警告后页面的优化情况；100 是可能的最高分，表示页面没有任何关键页面问题和重要警告；如需了解该指标的计算方式，请参阅这篇帮助中心文章

page_timing
类型: object | null · Response36Afe1097B20_PageTiming

页面加载指标对象

connection_time
类型: integer | null

连接服务器的时间与服务器建立连接所需的时间（毫秒）

dom_complete
类型: integer | null

加载资源的时间下载页面及其所有子资源所需的时间（毫秒）

download_time
类型: integer | null

浏览器接收响应所需的时间（毫秒）

duration_time
类型: integer | null

浏览器从服务器接收完整响应所需的总时间（毫秒）

fetch_end
类型: integer | null

完成下载 HTML 资源的时间，即浏览器完成下载页面所需的时间

fetch_start
类型: integer | null

开始下载 HTML 资源的时间，即浏览器开始下载页面所需的时间

first_input_delay
类型: number | null

表示页面响应能力的 Core Web Vitals 指标从用户首次与页面交互到浏览器响应该交互所需的时间（毫秒）。了解更多。

largest_contentful_paint
类型: number | null

衡量首屏最大内容元素显示速度的 Core Web Vitals 指标从用户请求 URL 到在视口中渲染最大内容元素所需的时间（毫秒）。了解更多。

request_sent_time
类型: integer | null

向服务器发送请求的时间向服务器发送请求所需的时间（毫秒）

time_to_interactive
类型: integer | null

Time To Interactive (TTI) 指标用户可与页面交互所需的时间（毫秒）

time_to_secure_connection
类型: integer | null

建立安全连接的时间与服务器建立安全连接所需的时间（毫秒）

waiting_time
类型: integer | null

首字节时间 (TTFB)，以毫秒为单位

relative_url_length
类型: integer | null

相对 URL 长度（字符数）

resource_errors
类型: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

资源错误和警告

errors
类型: array (object | null)[] | null

资源错误

column
类型: integer | null

发现错误的列

line
类型: integer | null

发现错误的行

message
类型: string | null

错误的文本消息：可能的 HTML 错误完整列表可在此处找到

status_code
类型: integer | null

通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

warnings
类型: array (object | null)[] | null

资源警告

column
类型: integer | null

发现错误的列

line
类型: integer | null

发现错误的行

message
类型: string | null

错误的文本消息：可能的 HTML 错误完整列表可在此处找到

status_code
类型: integer | null

通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

server
类型: string | null

服务器版本

size
类型: integer | null

资源大小，表示指定页面的字节大小

status_code
类型: integer | null

通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

total_dom_size
类型: integer | null 格式: int64

页面的 DOM 总大小

total_transfer_size
类型: integer | null 格式: int64

压缩后的页面大小，表示指定页面的压缩后大小

url
类型: string | null

页面 URL

url_length
类型: integer | null

页面 URL 长度（字符数）

similarity
类型: integer | null

Integer numbers.

total_count
类型: integer | null 格式: int64

重复页面的总数

url
类型: string | null

指定页面的 URL

items_count
类型: integer | null 格式: int64

结果数组中的条目数

result_count
类型: integer | null 格式: int64

result 数组中的元素数

status_code
类型: integer | null

任务的状态码由 DataForSEO 生成，范围如下：10000-60000 完整响应码列表见此处

status_message
类型: string | null

任务的信息性消息完整的一般信息性消息列表见此处

time
类型: string | null

执行时间，秒

tasks_count
类型: integer | null 格式: int64

tasks 数组中的任务数

tasks_error
类型: integer | null 格式: int64

tasks 数组中返回错误的任务数

time
类型: string | null

总执行时间，秒

version
类型: string | null

API 的当前版本
application/json
400

无法处理该请求。请检查请求参数。
401

需要有效的 Felo API 密钥。
402

由于未满足计费要求，请求无法继续。
403

该账户无权执行此操作。
429

已达到请求或支出限额。
502

服务无法完成该请求。
503

API 或计费服务暂时不可用。
504

服务在处理请求时超时。
default

错误响应；上游透传响应可能采用提供方格式

application/json

post/v1/beta/dataforseo/on_page/duplicate_content

curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/duplicate_content \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "url": "https://www.etsy.com/"
  }
]'

显示 Schema

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "items_count": null,
          "items": [
            {
              "url": null,
              "total_count": null,
              "pages": [
                "[Max Depth Exceeded]"
              ]
            }
          ]
        }
      ]
    }
  ]
}

操作成功

需要帮助？

API、计费或账号问题，请联系支持。
在 Discord 上与 Felo 开发者交流。
查看我们的更新日志。
需要批量定价或采购支持？联系销售。
正在使用 LLM 构建？阅读 llms.txt。

OnPage API 重复内容

身份验证Required

DataForSEO

OnPage API 重复内容

计费参考

需要帮助？