v0.2.0-beta

OpenAPI 3.1.0

无法爬取的资源

Felo API Support

MIT

服务器

https://openapi.felo.ai

客户端库

Shell Curl

DataForSEO

SEO, search-engine results, keyword research, backlinks and AI visibility data.

DataForSEO 操作

post/v1/beta/dataforseo/on_page/uncrawlable_resources

无法爬取的资源

爬取无法获取的资源及原因。返回 total_items_count、items_count 和 items。读取已完成的爬取，因此需要 post_dataforseo_on_page_submit 返回的 id，并返回 crawl_progress 以及 crawl_status（max_crawl_pages、pages_in_queue 和 pages_crawled）——在采信偏少的结果前先检查这些字段，因为仍在进行的爬取能报告的内容本来就少。这些是站点所有者会最先关注的失效引用；成功加载的资源位于 post_dataforseo_on_page_resources。💰 上游免费：查询已完成的爬取不产生费用，只有爬取本身计费。

计费参考

计量方式：按上报的响应成本计量。
参考请求估算：0.012 美元。
参考客户倍率：1.0。不得对已结算的客户金额再次应用。

仅供参考的元数据，不是账户报价、保证价格或消费上限。资源额度不同于 Felo 额度。最终扣费以 Felo 计费记录为准。

请求体

application/json

类型: array (object | null)[]
- filters
  类型: array (object | null)[] | null
  
  结果筛选参数数组
  可选字段
  可同时添加多个筛选条件（最多 8 个）
  应在条件之间设置逻辑运算符 and、or
  支持以下运算符：
  regex、not_regex、<、<=、>、>=、=、<>、in、not_in、like、not_like
  可以将 % 运算符与 like 和 not_like 一起使用，以匹配任意零个或多个字符组成的字符串
  示例：
  [["meta.content_type","=","image/jpeg"], "and", ["url","not_like","%/help-center/%"]]
  
  完整筛选条件列表可通过此链接获取。
  
  空对象
- id
  类型: string
  
  任务 ID
  必填字段
  你可以在 Task POST 端点的响应中获取此 ID
  示例：
  "07131248-1535-0216-1000-17384017ad04"
- limit
  类型: integer | null
  
  返回的不可爬取资源的最大数量
  可选字段
  默认值：100
  最大值：1000
- offset
  类型: integer | null
  
  返回的不可爬取资源在结果数组中的偏移量
  可选字段
  默认值：0
  最大值：2000000
  如果指定 10，结果数组中的前十个无效资源将被省略，并将提供后续无效资源的数据
- order_by
  类型: array string[] | null
  
  结果排序规则
  可选字段
  可以使用与 filters 数组相同的值对结果排序
  可能的排序类型：
  asc - 结果将按升序排序
  desc - 结果将按降序排序
  应使用逗号设置排序类型
  示例：
  ["meta.content_type,desc"]
  请注意，单次请求最多可设置三条排序规则
  应使用逗号分隔多条排序规则
  示例：
  ["meta.content_type,asc","fetch_time,desc"]

响应

200
类型: object | null · Response36Afe1097B20_OnPageUncrawlableResourcesResponseInfo
cost
类型: number | null 格式: double

任务总费用，美元

status_code
类型: integer | null

通用状态码完整响应码列表见此处

status_message
类型: string | null

通用信息性消息完整的一般信息性消息列表见此处

tasks
类型: array (object | null)[] | null

任务数组

类型: object | null · Response36Afe1097B20_OnPageUncrawlableResourcesTaskInfo
cost
类型: number | null 格式: double

任务总费用，美元

data
类型: object | null

包含你在 POST 请求中指定的相同参数

propertyName
类型: object | null
id
类型: string | null

任务标识符我们系统中 UUID 格式的唯一任务标识符

path
类型: array (string | null)[] | null

URL 路径

result
类型: array (object | null)[] | null

结果数组

crawl_progress
类型: string | null

抓取会话的状态
可能的值：in_progress、finished

crawl_status
类型: object | null · Response36Afe1097B20_CrawlStatusInfo

抓取会话的详细信息

max_crawl_pages
类型: integer | null 格式: int64

爬取页面数上限表示设置任务时指定的 max_crawl_pages 限制

pages_crawled
类型: integer | null 格式: int64

已爬取的页面数量

pages_in_queue
类型: integer | null 格式: int64

当前在爬取队列中的页面数量

current_offset
类型: integer | null

Integer numbers.

items
类型: array (object | null)[] | null

无法抓取的资源数组

fetch_time
类型: string | null

获取资源的日期和时间
采用 UTC 格式：“yyyy-mm-dd hh-mm-ss +00:00”
示例：
2026-03-09 18:20:32 +00:00

meta
类型: object | null · Response36Afe1097B20_UncrawlableResourcesMeta

无法抓取资源的元数据

content_type
类型: string | null

资源的实际内容类型

expected_content_types
类型: array (string | null)[] | null

资源的预期内容类型
爬虫根据资源在页面上的引用方式所预期的内容类型列表

reason
类型: string | null

资源无法抓取的原因
可以取以下值：content_type_inconsistency

status_code
类型: integer | null

通用状态码
可在此处找到响应码的完整列表
注意：我们强烈建议设计必要的系统来处理相关的异常或错误情况

url
类型: string | null

无法抓取资源的 URL

items_count
类型: integer | null 格式: int64

items 数组中无法抓取的资源数

total_items_count
类型: integer | null 格式: int64

发现的无法抓取资源总数
在目标域抓取过程中发现的无法抓取资源总数

result_count
类型: integer | null 格式: int64

result 数组中的元素数

status_code
类型: integer | null

任务的状态码由 DataForSEO 生成，范围如下：10000-60000 完整响应码列表见此处

status_message
类型: string | null

任务的信息性消息完整的一般信息性消息列表见此处

time
类型: string | null

执行时间，秒

tasks_count
类型: integer | null 格式: int64

tasks 数组中的任务数

tasks_error
类型: integer | null 格式: int64

tasks 数组中返回错误的任务数

time
类型: string | null

总执行时间，秒

version
类型: string | null

API 的当前版本
application/json
400

无法处理该请求。请检查请求参数。
401

需要有效的 Felo API 密钥。
402

由于未满足计费要求，请求无法继续。
403

该账户无权执行此操作。
429

已达到请求或支出限额。
502

服务无法完成该请求。
503

API 或计费服务暂时不可用。
504

服务在处理请求时超时。
default

错误响应；上游透传响应可能采用提供方格式

application/json

post/v1/beta/dataforseo/on_page/uncrawlable_resources

curl https://openapi.felo.ai/v1/beta/dataforseo/on_page/uncrawlable_resources \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '[
  {
    "id": "07281559-0695-0216-0000-c269be8b7592",
    "filters": [
      [
        "meta.content_type",
        "=",
        "image/jpeg"
      ],
      "and",
      [
        "url",
        "like",
        "%go%"
      ]
    ],
    "limit": 10
  }
]'

显示 Schema

{
  "version": null,
  "status_code": null,
  "status_message": null,
  "time": null,
  "cost": null,
  "tasks_count": null,
  "tasks_error": null,
  "tasks": [
    {
      "id": null,
      "status_code": null,
      "status_message": null,
      "time": null,
      "cost": null,
      "result_count": null,
      "path": [
        null
      ],
      "data": null,
      "result": [
        {
          "crawl_progress": null,
          "crawl_status": {
            "max_crawl_pages": null,
            "pages_in_queue": null,
            "pages_crawled": null
          },
          "current_offset": null,
          "total_items_count": null,
          "items_count": null,
          "items": [
            {
              "url": null,
              "reason": null,
              "status_code": null,
              "fetch_time": null,
              "meta": "[Max Depth Exceeded]"
            }
          ]
        }
      ]
    }
  ]
}

操作成功

需要帮助？

API、计费或账号问题，请联系支持。
在 Discord 上与 Felo 开发者交流。
查看我们的更新日志。
需要批量定价或采购支持？联系销售。
正在使用 LLM 构建？阅读 llms.txt。

无法爬取的资源

身份验证Required

DataForSEO

无法爬取的资源

计费参考

需要帮助？