Felo API PlatformFelo API Platform
全部 DataForSEO 端点
v0.2.0-beta
OpenAPI 3.1.0

OnPage API 资源

Felo API Support
MIT
服务器:https://openapi.felo.ai
客户端库
Shell Curl

DataForSEO

​

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO 操作

OnPage API 资源

​

爬取发现的非页面资源——图片、脚本、样式表——及其状态码和大小。页面使用 search_after_token 分页。读取已完成的爬取，因此需要 post_dataforseo_on_page_submit 返回的 id，并返回 crawl_progress 以及 crawl_status（max_crawl_pages、pages_in_queue 和 pages_crawled）——在采信偏少的结果前先检查这些字段，因为仍在进行的爬取能报告的内容本来就少。对于爬虫完全无法访问的资源，请使用 post_dataforseo_on_page_uncrawlable_resources。💰 上游免费：查询已完成的爬取不产生费用，只有爬取本身计费。

计费参考

  • 计量方式：按上报的响应成本计量。
  • 参考请求估算：0.012 美元。
  • 参考客户倍率：1.0。不得对已结算的客户金额再次应用。

仅供参考的元数据，不是账户报价、保证价格或消费上限。资源额度不同于 Felo 额度。最终扣费以 Felo 计费记录为准。

请求体
application/json
  • 类型: array (object | null)[]
    • filters
      类型: array (object | null)[] | null

      结果筛选参数数组
      可选字段
      可同时添加多个筛选条件（最多 8 个）
      应在条件之间设置逻辑运算符 and、or
      支持以下运算符：
      regex、not_regex、<、<=、>、>=、=、<>、in、not_in、like、not_like
      可以将 % 运算符与 like 和 not_like 一起使用，匹配任意长度（零个或多个字符）的字符串
      示例：
      ["resource_type","=","stylesheet"]

      [["resource_type","=","image"],
      "and",["checks.is_https","=",false]]

      [["fetch_timing.duration_time",">",1],"and",[["total_transfer_size",">",100],"or",["checks.high_loading_time","=",true]]]

      完整可用筛选器列表请见此链接。

      空对象
    • id
      类型: string

      任务 ID
      必填字段
      你可以在 Task POST 端点的响应中获取此 ID
      示例：
      "07131248-1535-0216-1000-17384017ad04"

    • limit
      类型: integer | null

      返回资源的最大数量
      可选字段
      默认值：100
      最大值：1000

    • offset
      类型: integer | null

      返回资源结果数组中的偏移量
      可选字段
      默认值：0
      最大值：2000000
      如果指定 10，结果数组中的前十个资源将被省略，数据将针对后续资源提供

    • order_by
      类型: array string[] | null

      结果排序规则
      可选字段
      你可以使用与 filters 数组相同的值对结果排序
      可用的排序类型：
      asc - 结果将按升序排列
      desc - 结果将按降序排列
      应使用逗号设置排序参数
      示例：
      ["size,desc"]
      注意，单次请求中最多可设置三条排序规则
      应使用逗号分隔多条排序规则
      示例：
      ["size,desc","fetch_timing.fetch_end,desc"]

    • relevant_pages_filters
      类型: array string[] | null

      按相关页面筛选资源
      可选字段
      你可以使用此字段获取与所定义参数匹配的页面中的资源
      此处可应用与 Pages 端点相同的筛选条件
      可同时添加多个筛选条件（最多 8 个）
      应在条件之间设置逻辑运算符 and、or
      支持以下运算符：
      regex、not_regex、<、<=、>、>=、=、<>、in、not_in、like、not_like
      可以将 % 运算符与 like 和 not_like 一起使用，匹配任意长度（零个或多个字符）的字符串
      示例：
      ["checks.no_image_title","=",true]

    • search_after_token
      类型: string | null

      后续请求的令牌
      可选字段
      在每个请求响应的对应字段中提供；
      使用此参数可避免在单个请求中尝试获取超过 20,000 条结果时超时；
      通过指定响应数组中的唯一 search_after_token 值，可获取初始任务的后续结果；
      search_after_token 值对每个后续任务都是唯一的；
      注意：如果请求中指定了 search_after_token，其他所有参数都应与此前的请求完全相同

    • tag
      类型: string | null

      用户自定义任务标识符
      可选字段
      字符数上限为 255
      可使用此参数标识任务，并将其与结果对应
      可在响应的 data 对象中找到指定的 tag 值

    • url
      类型: string | null

      页面 URL
      可选字段
      如果要获取特定页面的资源，请指定此字段
      请注意，要从特定 URL 获取资源的 meta，应在此字段中指定该 URL；
      如果在设置任务时未指定 url，结果中资源的 meta 将基于我们的爬虫首次发现该资源的页面数据返回

响应
  • 200
    类型: object | null · Response36Afe1097B20_OnPageResourcesResponseInfo
    • cost
      类型: number | null 格式: double

      任务总费用，美元

    • status_code
      类型: integer | null

      通用状态码 完整响应码列表见此处

    • status_message
      类型: string | null

      通用信息性消息 完整的一般信息性消息列表见此处

    • tasks
      类型: array (object | null)[] | null

      任务数组

      • 类型: object | null · Response36Afe1097B20_OnPageResourcesTaskInfo
        • cost
          类型: number | null 格式: double

          任务总费用，美元

        • data
          类型: object | null

          包含你在 POST 请求中指定的相同参数

          • propertyName
            类型: object | null
        • id
          类型: string | null

          任务标识符 我们系统中 UUID 格式的唯一任务标识符

        • path
          类型: array (string | null)[] | null

          URL 路径

        • result
          类型: array (object | null)[] | null

          结果数组

          • crawl_progress
            类型: string | null

            抓取会话的状态
            可能的值：in_progress、finished

          • crawl_status
            类型: object | null · Response36Afe1097B20_CrawlStatusInfo

            抓取会话的详细信息

            • max_crawl_pages
              类型: integer | null 格式: int64

              爬取页面数上限 表示设置任务时指定的 max_crawl_pages 限制

            • pages_crawled
              类型: integer | null 格式: int64

              已爬取的页面数量

            • pages_in_queue
              类型: integer | null 格式: int64

              当前在爬取队列中的页面数量

          • current_offset
            类型: integer | null

            Integer numbers.

          • items
            类型: array (object | null)[] | null

            条目数组

            • cache_control
              类型: object | null · Response36Afe1097B20_CacheControl

              缓存说明

              • cachable
                类型: boolean | null

                表示页面是否可缓存

              • ttl
                类型: integer | null

                生存时间，浏览器缓存资源的时间长度

            • checks
              类型: object | null

              网站检查：与页面相关的页内检查项

              • propertyName
                类型: boolean | null
            • content_encoding
              类型: string | null

              编码类型

            • encoded_size
              类型: integer | null

              编码后的页面大小，表示编码后页面的字节大小

            • fetch_time
              类型: string | null

              获取资源的日期和时间，采用 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00”，示例：2019-11-15 12:57:46 +00:00

            • last_modified
              类型: object | null · Response36Afe1097B20_LastModified

              包含与资源相关的变更数据，若无数据，该值为 null

              • header
                类型: string | null

                标头上次修改的日期和时间 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00” 示例： 2019-11-15 12:57:46 +00:00 如果没有数据，该值将为 null

              • meta_tag
                类型: string | null

                元标签上次修改的日期和时间 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00” 示例： 2019-11-15 12:57:46 +00:00 如果没有数据，该值将为 null

              • sitemap
                类型: string | null

                站点地图上次修改的日期和时间 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00” 示例： 2019-11-15 12:57:46 +00:00 如果没有数据，该值将为 null

            • location
              类型: string | null

              Location 头，表示将页面重定向到的 URL

            • media_type
              类型: string | null

              用于显示页面的媒体类型

            • resource_errors
              类型: object | null · Response36Afe1097B20_OnPageResourceIssueInfo

              资源错误和警告

              • errors
                类型: array (object | null)[] | null

                资源错误

                • column
                  类型: integer | null

                  发现错误的列

                • line
                  类型: integer | null

                  发现错误的行

                • message
                  类型: string | null

                  错误的文本消息：可能的 HTML 错误完整列表可在此处找到

                • status_code
                  类型: integer | null

                  通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

              • warnings
                类型: array (object | null)[] | null

                资源警告

                • column
                  类型: integer | null

                  发现错误的列

                • line
                  类型: integer | null

                  发现错误的行

                • message
                  类型: string | null

                  错误的文本消息：可能的 HTML 错误完整列表可在此处找到

                • status_code
                  类型: integer | null

                  通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

            • resource_type
              类型: string | null

              元素类型

            • server
              类型: string | null

              服务器版本

            • size
              类型: integer | null

              资源大小，表示指定页面的字节大小

            • status_code
              类型: integer | null

              通用状态码，完整响应码列表见此处。注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

            • total_transfer_size
              类型: integer | null 格式: int64

              压缩后的页面大小，表示指定页面的压缩后大小

            • url
              类型: string | null

              页面 URL

          • items_count
            类型: integer | null 格式: int64

            结果数组中的条目数

          • search_after_token
            类型: string | null
          • total_items_count
            类型: integer | null 格式: int64

            已抓取的相关条目总数

        • result_count
          类型: integer | null 格式: int64

          result 数组中的元素数

        • status_code
          类型: integer | null

          任务的状态码 由 DataForSEO 生成，范围如下：10000-60000 完整响应码列表见此处

        • status_message
          类型: string | null

          任务的信息性消息 完整的一般信息性消息列表见此处

        • time
          类型: string | null

          执行时间，秒

    • tasks_count
      类型: integer | null 格式: int64

      tasks 数组中的任务数

    • tasks_error
      类型: integer | null 格式: int64

      tasks 数组中返回错误的任务数

    • time
      类型: string | null

      总执行时间，秒

    • version
      类型: string | null

      API 的当前版本

    application/json
  • 400

    无法处理该请求。请检查请求参数。

  • 401

    需要有效的 Felo API 密钥。

  • 402

    由于未满足计费要求，请求无法继续。

  • 403

    该账户无权执行此操作。

  • 429

    已达到请求或支出限额。

  • 502

    服务无法完成该请求。

  • 503

    API 或计费服务暂时不可用。

  • 504

    服务在处理请求时超时。

  • default

    错误响应；上游透传响应可能采用提供方格式

    application/json
Request Example for post/v1/beta/dataforseo/on_page/resources
curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/resources \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "filters": [
      [
        "resource_type",
        "=",
        "image"
      ],
      "and",
      [
        "size",
        ">",
        100000
      ]
    ],
    "order_by": [
      "size,desc"
    ],
    "limit": 10
  }
]'

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "search_after_token": null,
          "current_offset": null,
          "total_items_count": null,
          "items_count": null,
          "items": [
            {
              "resource_type": null,
              "status_code": null,
              "location": null,
              "url": null,
              "resource_errors": "[Max Depth Exceeded]",
              "size": null,
              "encoded_size": null,
              "total_transfer_size": null,
              "fetch_time": null,
              "cache_control": "[Max Depth Exceeded]",
              "checks": null,
              "content_encoding": null,
              "media_type": null,
              "server": null,
              "last_modified": "[Max Depth Exceeded]"
            }
          ]
        }
      ]
    }
  ]
}

操作成功

OnPage API Resources

需要帮助？