Felo API PlatformFelo API Platform
全部 DataForSEO 端点
v0.2.0-beta
OpenAPI 3.1.0

OnPage API 不可收录页面

Felo API Support
MIT
服务器:https://openapi.felo.ai
客户端库
Shell Curl

DataForSEO

​

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO 操作

OnPage API 不可收录页面

​

搜索引擎不会收录的已爬取页面，每项含 reason 和 url。读取已完成的爬取，因此需要 post_dataforseo_on_page_submit 返回的 id，并返回 crawl_progress 以及 crawl_status（max_crawl_pages、pages_in_queue 和 pages_crawled）——在采信偏少的结果前先检查这些字段，因为仍在进行的爬取能报告的内容本来就少。这里的全部价值都在 reason 字段——noindex、canonical 指向别处、被 robots 屏蔽，是同一症状下截然不同的问题。💰 上游免费：查询已完成的爬取不产生费用，只有爬取本身计费。

计费参考

  • 计量方式：按上报的响应成本计量。
  • 参考请求估算：0.012 美元。
  • 参考客户倍率：1.0。不得对已结算的客户金额再次应用。

仅供参考的元数据，不是账户报价、保证价格或消费上限。资源额度不同于 Felo 额度。最终扣费以 Felo 计费记录为准。

请求体
application/json
  • 类型: array (object | null)[]
    • filters
      类型: array (object | null)[] | null

      结果筛选参数数组
      可选字段
      可同时添加多个筛选条件（最多 8 个）
      应在条件之间设置逻辑运算符 and、or
      支持以下运算符：
      regex、not_regex、<、<=、>、>=、=、<>、in、not_in、like、not_like
      可以将 % 运算符与 like 和 not_like 一起使用，匹配任意长度（零个或多个字符）的字符串
      示例：
      [["reason","<>","robots_txt"],
      "and",
      ["url","not_like","%/wp-admin/%"]]

      [["url","not_like","%/wp-admin/%"],
      "and",
      [["reason","<>","meta_tag"],"or",["reason","<>","http_header"]]]

      完整可用筛选器列表请见此链接。

      空对象
    • id
      类型: string

      任务 ID
      必填字段
      你可以在 Task POST 端点的响应中获取此 ID
      示例：
      "07131248-1535-0216-1000-17384017ad04"

    • limit
      类型: integer | null

      返回页面的最大数量
      可选字段
      默认值：100
      最大值：1000

    • offset
      类型: integer | null

      返回页面结果数组中的偏移量
      可选字段
      默认值：0
      最大值：2000000
      如果指定 10，结果数组中的前十个页面将被省略，数据将针对后续页面提供

响应
  • 200
    类型: object | null · Response36Afe1097B20_OnPageNonIndexableResponseInfo
    • cost
      类型: number | null 格式: double

      任务总费用，美元

    • status_code
      类型: integer | null

      通用状态码 完整响应码列表见此处

    • status_message
      类型: string | null

      通用信息性消息 完整的一般信息性消息列表见此处

    • tasks
      类型: array (object | null)[] | null

      任务数组

      • 类型: object | null · Response36Afe1097B20_OnPageNonIndexableTaskInfo
        • cost
          类型: number | null 格式: double

          任务总费用，美元

        • data
          类型: object | null

          包含你在 POST 请求中指定的相同参数

          • propertyName
            类型: object | null
        • id
          类型: string | null

          任务标识符 我们系统中 UUID 格式的唯一任务标识符

        • path
          类型: array (string | null)[] | null

          URL 路径

        • result
          类型: array (object | null)[] | null

          结果数组

          • crawl_progress
            类型: string | null

            抓取会话的状态
            可能的值：in_progress、finished

          • crawl_status
            类型: object | null · Response36Afe1097B20_CrawlStatusInfo

            抓取会话的详细信息

            • max_crawl_pages
              类型: integer | null 格式: int64

              爬取页面数上限 表示设置任务时指定的 max_crawl_pages 限制

            • pages_crawled
              类型: integer | null 格式: int64

              已爬取的页面数量

            • pages_in_queue
              类型: integer | null 格式: int64

              当前在爬取队列中的页面数量

          • items
            类型: array (object | null)[] | null

            条目数组

            • reason
              类型: string | null

              页面无法被索引的原因
              可以取以下值：robots_txt、meta_tag、http_header、attribute、too_many_redirects

            • url
              类型: string | null

              无法被索引页面的 URL

          • items_count
            类型: integer | null 格式: int64

            结果数组中的条目数

          • total_items_count
            类型: integer | null 格式: int64

            数据库中相关条目的总数

        • result_count
          类型: integer | null 格式: int64

          result 数组中的元素数

        • status_code
          类型: integer | null

          任务的状态码 由 DataForSEO 生成，范围如下：10000-60000 完整响应码列表见此处

        • status_message
          类型: string | null

          任务的信息性消息 完整的一般信息性消息列表见此处

        • time
          类型: string | null

          执行时间，秒

    • tasks_count
      类型: integer | null 格式: int64

      tasks 数组中的任务数

    • tasks_error
      类型: integer | null 格式: int64

      tasks 数组中返回错误的任务数

    • time
      类型: string | null

      总执行时间，秒

    • version
      类型: string | null

      API 的当前版本

    application/json
  • 400

    无法处理该请求。请检查请求参数。

  • 401

    需要有效的 Felo API 密钥。

  • 402

    由于未满足计费要求，请求无法继续。

  • 403

    该账户无权执行此操作。

  • 429

    已达到请求或支出限额。

  • 502

    服务无法完成该请求。

  • 503

    API 或计费服务暂时不可用。

  • 504

    服务在处理请求时超时。

  • default

    错误响应；上游透传响应可能采用提供方格式

    application/json
Request Example for post/v1/beta/dataforseo/on_page/non_indexable
curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/non_indexable \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "filters": [
      [
        "reason",
        "=",
        "robots_txt"
      ],
      "and",
      [
        "url",
        "like",
        "%go%"
      ]
    ],
    "limit": 10
  }
]'

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "total_items_count": null,
          "items_count": null,
          "items": [
            {
              "reason": null,
              "url": null
            }
          ]
        }
      ]
    }
  ]
}

操作成功

OnPage API Non-indexable Pages

需要帮助？