Felo API PlatformFelo API Platform
全部 DataForSEO 端点
v0.2.0-beta
OpenAPI 3.1.0

OnPage API 摘要

服务器:https://openapi.felo.ai
客户端库

DataForSEO

​

SEO, search-engine results, keyword research, backlinks and AI visibility data.

OnPage API 摘要

​

按 id 获取某次爬取的状态与概要指标。返回 crawl_progress、crawl_status、crawl_gateway_address、crawl_stop_reason、domain_info 和 page_metrics。采用 DataForSEO 的信封结构:数据位于 tasks[0].result,结果状态位于 tasks[0].status_code——被拒绝的请求仍会返回 HTTP 200。这也是判断爬取是否完成的方式——在读取此处任何其他端点之前,先轮询直到 crawl_progress 为 finished,否则你会读到看似真实的局部结果。💰 上游免费:查询已完成的爬取不产生费用,只有爬取本身计费。

计费参考

  • 计量方式:按上报的响应成本计量。
  • 参考请求估算:0.012 美元。
  • 参考客户倍率:1.0。不得对已结算的客户金额再次应用。

仅供参考的元数据,不是账户报价、保证价格或消费上限。资源额度不同于 Felo 额度。最终扣费以 Felo 计费记录为准。

路径参数
  • id
    类型: string
    必填

    任务标识符
    必填字段
    你可以在 Task POST 端点的响应中获取此 ID
    示例:
    “07131248-1535-0216-1000-17384017ad04”

响应
  • 200
    类型: object | null · Response36Afe1097B20_OnPageSummaryResponseInfo
    • cost
      类型: number | null 格式: double

      任务总费用,美元

    • status_code
      类型: integer | null

      通用状态码 完整响应码列表见此处

    • status_message
      类型: string | null

      通用信息性消息 完整的一般信息性消息列表见此处

    • tasks
      类型: array (object | null)[] | null

      任务数组

      • 类型: object | null · Response36Afe1097B20_OnPageSummaryTaskInfo
        • cost
          类型: number | null 格式: double

          任务总费用,美元

        • data
          类型: object | null

          包含你在 POST 请求中指定的相同参数

          • propertyName
            类型: object | null
        • id
          类型: string | null

          任务标识符 我们系统中 UUID 格式的唯一任务标识符

        • path
          类型: array (string | null)[] | null

          URL 路径

        • result
          类型: array (object | null)[] | null

          结果数组

          • crawl_gateway_address
            类型: string | null

            爬虫 IP 地址
            显示爬虫用于发起当前抓取会话的 IP 地址
            可在概览部分中找到我们的爬虫所使用的完整 IP 列表

          • crawl_progress
            类型: string | null

            抓取会话的状态
            可能的值:in_progress、finished

          • crawl_status
            类型: object | null · Response36Afe1097B20_CrawlStatusInfo

            抓取会话的详细信息

            • max_crawl_pages
              类型: integer | null 格式: int64

              爬取页面数上限 表示设置任务时指定的 max_crawl_pages 限制

            • pages_crawled
              类型: integer | null 格式: int64

              已爬取的页面数量

            • pages_in_queue
              类型: integer | null 格式: int64

              当前在爬取队列中的页面数量

          • crawl_stop_reason
            类型: string | null

            抓取停止的原因
            有关抓取过程停止原因的信息;
            可能的值:
            limit_exceeded - 超出了 max_crawl_pages 中设置的限制;
            empty_queue - 队列中的所有 URL 均已抓取;
            force_stopped - 使用 On Page API Force Stop 功能暂停了抓取过程;
            unexpected_exception - 抓取 target 时遇到内部错误,请联系支持人员了解更多信息

          • domain_info
            类型: object | null · Response36Afe1097B20_DomainInfo

            域名范围信息
            有关目标域和抓取过程的页面信息

            • canonicalization_status_code
              类型: integer | null

              规范化页面返回的状态码
              我们的爬虫尝试通过 IP 访问网站时对服务器行为的检查;
              大多数情况下,建议规范化页面返回 301 或 302 状态码

            • checks
              类型: object | null

              网站检查
              与网站相关的其他页内检查

              • propertyName
                类型: boolean | null
            • cms
              类型: string | null

              内容管理系统
              网站上识别到的内容管理系统
              generator 元标签的内容
              数据取自第一个返回 200 响应码的随机页面
              如果我们的爬虫无法识别内容管理系统,该值将为 null

            • crawl_end
              类型: string | null

              爬取结束时间
              爬取完成的日期和时间
              采用 UTC 格式:“yyyy-mm-dd hh-mm-ss +00:00”
              示例:
              2019-11-15 12:57:46 +00:00
              注意:仅在 "crawl_progress" 为 "finished" 时提供有效信息
              如果 "crawl_progress" 为 in_progress,该值将为 null

            • crawl_start
              类型: string | null

              爬取开始时间
              网站被送去爬取的日期和时间
              采用 UTC 格式:“yyyy-mm-dd hh-mm-ss +00:00”
              示例:
              2019-11-15 12:57:46 +00:00

            • directory_browsing_status_code
              类型: integer | null

              目录返回的状态码
              目标网站上目录页面返回的状态码
              大多数情况下,建议目录返回 403 或 401 状态码

            • extended_crawl_status
              类型: string | null

              爬取状态和错误
              表示网站未被爬取的原因;
              可取以下值:
              no_errors:未检测到爬取错误;
              site_unreachable:我们的爬虫无法访问网站,因而无法获取状态码;
              invalid_page_status_code:首个被爬取页面的状态码 >= 400;
              forbidden_meta_tag:首个被爬取页面包含 <meta robots="noindex"> 标签;
              forbidden_robots:robots.txt 禁止爬取该页面;
              forbidden_http_header:页面 HTTP 头包含 "X-Robots-Tag: noindex" ;
              too_many_redirects:首个被爬取页面有超过 10 次重定向;
              unknown:原因未知

            • ip
              类型: string | null

              域名 IP 地址

            • main_domain
              类型: string | null

              根域名

            • name
              类型: string | null

              域名

            • page_not_found_status_code
              类型: integer | null

              不存在的页面返回的状态码
              大多数情况下,建议服务器返回 404 响应码

            • server
              类型: string | null

              网站服务器
              网站上检测到的服务器版本
              server 头的内容
              信息取自响应码为 200 的第一个页面

            • ssl_info
              类型: object | null · Response36Afe1097B20_SslInfo

              SSL 证书信息
              网站上检测到的安全套接层协议信息

              • certificate_expiration_date
                类型: string | null

                SSL 证书到期日期
                SSL 证书到期的日期和时间
                采用 UTC 格式:“yyyy-mm-dd hh-mm-ss +00:00”
                示例:
                2019-11-15 12:57:46 +00:00

              • certificate_hash
                类型: string | null

                SSL 证书哈希
                SSL 证书哈希函数的版本

              • certificate_issuer
                类型: string | null

                SSL 证书颁发机构
                签发检测到的 SSL 证书的实体

              • certificate_subject
                类型: string | null

                SSL 证书主体
                与公钥关联的实体

              • certificate_version
                类型: integer | null

                SSL 证书版本
                指示 SSL 证书使用的 X.509 版本

              • valid_certificate
                类型: boolean | null

                SSL 证书有效期
                指示网站上检测到的 SSL 证书是否未过期、未暂停、未被吊销且有效

            • total_pages
              类型: integer | null 格式: int64

              已爬取页面总数
              已爬取页面的总数

            • total_uncrawlable_resources
              类型: integer | null 格式: int64

              无法爬取资源总数
              无法爬取的资源总数;
              当资源的实际内容类型与爬虫预期的内容类型不匹配时,该资源即被视为无法爬取

            • www_redirect_status_code
              类型: integer | null

              重定向状态码
              www 到非 www 重定向的状态码
              大多数情况下,建议该重定向返回 301 状态码

          • page_metrics
            类型: object | null · Response36Afe1097B20_PageMetrics

            页面特定信息
            目标网站页面的指标信息

            • broken_links
              类型: integer | null

              损坏链接数
              目标网站所有已抓取页面中的损坏链接数

            • broken_resources
              类型: integer | null

              损坏资源数
              链接损坏的图片和其他资源数量

            • checks
              类型: object | null

              页面特定的页面检查

              • propertyName
                类型: integer | null 格式: int64

                Signed 64-bit integers (long type).

            • duplicate_content
              类型: integer | null

              内容重复的页面数

            • duplicate_description
              类型: integer | null

              描述重复的页面数

            • duplicate_title
              类型: integer | null

              标题重复的页面数

            • links_external
              类型: integer | null

              外部链接数
              指向其他网站的链接数

            • links_internal
              类型: integer | null

              内部链接数
              指向目标网站内其他页面的链接数

            • links_relation_conflict
              类型: integer | null

              目标网站上可能存在冲突的链接数
              例如,如果 "links_relation_conflict": 2,则目标网站通过至少一个带 rel="nofollow" 属性的内部链接以及至少一个 dofollow 链接引用同一来源

            • non_indexable
              类型: integer | null

              无法被索引的页面数
              因 robots.txt、HTTP 头或 meta 标签设置而被 Google 及其他搜索引擎阻止索引的页面数;
              可以使用此端点获取无法被索引的 URL 列表

            • onpage_score
              类型: number | null

              以 100 分制显示网站优化情况
              该字段显示在考虑检测到的关键页面问题和警告后网站的优化情况;
              100 是可能的最高分,表示网站没有任何关键页面问题和重要警告;
              注意,该值取决于已抓取的页面数;
              如需了解该指标的计算方式,请参阅这篇帮助中心文章

            • redirect_loop
              类型: integer | null

              起始和结束 URL 相同的重定向链数
              目标 URL 重定向回原始 URL 的重定向链数量

        • result_count
          类型: integer | null 格式: int64

          result 数组中的元素数

        • status_code
          类型: integer | null

          任务的状态码 由 DataForSEO 生成,范围如下:10000-60000 完整响应码列表见此处

        • status_message
          类型: string | null

          任务的信息性消息 完整的一般信息性消息列表见此处

        • time
          类型: string | null

          执行时间,秒

    • tasks_count
      类型: integer | null 格式: int64

      tasks 数组中的任务数

    • tasks_error
      类型: integer | null 格式: int64

      tasks 数组中返回错误的任务数

    • time
      类型: string | null

      总执行时间,秒

    • version
      类型: string | null

      API 的当前版本

    application/json
  • 400

    无法处理该请求。请检查请求参数。

  • 401

    需要有效的 Felo API 密钥。

  • 402

    由于未满足计费要求,请求无法继续。

  • 403

    该账户无权执行此操作。

  • 429

    已达到请求或支出限额。

  • 502

    服务无法完成该请求。

  • 503

    API 或计费服务暂时不可用。

  • 504

    服务在处理请求时超时。

  • default

    错误响应;上游透传响应可能采用提供方格式

    application/json
Request Example for get/v1/beta/dataforseo/on_page/summary/{id}
curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/summary/00000000-0000-0000-0000-000000000000 \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN'
{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "crawl_gateway_address": null,
          "crawl_stop_reason": null,
          "domain_info": {
            "name": null,
            "cms": null,
            "ip": null,
            "server": null,
            "crawl_start": null,
            "crawl_end": null,
            "extended_crawl_status": null,
            "ssl_info": "[Max Depth Exceeded]",
            "checks": null,
            "total_pages": null,
            "total_uncrawlable_resources": null,
            "page_not_found_status_code": null,
            "canonicalization_status_code": null,
            "directory_browsing_status_code": null,
            "www_redirect_status_code": null,
            "main_domain": null
          },
          "page_metrics": {
            "links_external": null,
            "links_internal": null,
            "duplicate_title": null,
            "duplicate_description": null,
            "duplicate_content": null,
            "broken_links": null,
            "broken_resources": null,
            "links_relation_conflict": null,
            "redirect_loop": null,
            "onpage_score": null,
            "non_indexable": null,
            "checks": null
          }
        }
      ]
    }
  ]
}
OnPage API Summary

需要帮助?