v0.2.0-beta

OpenAPI 3.1.0

Công cụ duyệt website dựa trên đồ thị sử dụng Tavily Crawl.

Felo API Support

MIT

Máy chủ

https://openapi.felo.ai

Thư viện client

Shell Curl

Web Content

Web crawling, URL discovery and page extraction.

Web Content Thao tác

post/v1/beta/tavily/crawl

Công cụ duyệt website dựa trên đồ thị sử dụng Tavily Crawl.

Duyệt một trang web từ url gốc và trả về nội dung của các trang tìm thấy. Điều hướng bằng instructions ngôn ngữ tự nhiên cùng bộ lọc đường dẫn và tên miền dạng regex, đồng thời giới hạn bằng max_depth, max_breadth và limit. Trả về base_url và results[] với url và raw_content. Dùng cho phạm vi bao phủ rộng trên một trang web — tài liệu, danh mục, blog của đối thủ. Endpoint trả lời đồng bộ, khác với post_firecrawl_crawl: endpoint đó chạy dưới dạng tác vụ nền và phù hợp với các lần crawl quá lớn để chờ.

Tham chiếu giá

Đo lường: Đơn vị phản hồi được đo lường.
Ước tính tham chiếu cho mỗi yêu cầu: USD 0.024.
Cơ sở chi phí đơn vị: USD 0.008.
Đơn vị tài nguyên: tavily_credit.
Hệ số khách hàng tham chiếu: 1.0. Không áp dụng lại cho số tiền khách hàng đã quyết toán.
Cơ sở chi phí không xác lập giá cuối cùng cho khách hàng, kể cả khi bằng 0.

Chỉ là siêu dữ liệu tham chiếu, không phải báo giá cho tài khoản, mức giá được bảo đảm hay hạn mức chi tiêu. Tín dụng tài nguyên không phải tín dụng Felo. Khoản phí cuối cùng tuân theo bản ghi thanh toán của Felo.

Phần thân

bắt buộc

application/json

url
Kiểu: string
bắt buộc

URL gốc để bắt đầu quá trình thu thập.
allow_external
Kiểu: boolean

Bao gồm các liên kết miền bên ngoài trong danh sách kết quả cuối cùng.
chunks_per_source
Kiểu: integer
tối thiểu:
1
tối đa:
5

Số đoạn nội dung liên quan tối đa được trả về cho mỗi nguồn.
exclude_domains
Kiểu: array string[]

Mẫu regex để loại trừ các tên miền hoặc tên miền phụ cụ thể khỏi quá trình thu thập.
exclude_paths
Kiểu: array string[]

Mẫu regex để loại trừ các URL có mẫu đường dẫn cụ thể.
extract_depth
Kiểu: string enum

Độ sâu của quá trình trích xuất.
giá trị
- basic
- advanced
format
Kiểu: string enum

Định dạng của nội dung trang web được trích xuất.
giá trị
- markdown
- text
include_favicon
Kiểu: boolean

Bao gồm URL favicon cho mỗi kết quả.
include_images
Kiểu: boolean

Bao gồm hình ảnh trong kết quả thu thập.
include_usage
Kiểu: boolean

Bao gồm thông tin sử dụng tín dụng trong phản hồi.
instructions
Kiểu: string

Chỉ dẫn bằng ngôn ngữ tự nhiên cho trình thu thập.
limit
Kiểu: integer
tối thiểu:
1

Tổng số liên kết mà trình thu thập sẽ xử lý trước khi dừng.

max_breadth
Kiểu: integer
tối thiểu:
1
tối đa:
500

Số liên kết tối đa cần theo dõi mỗi cấp của cây.
max_depth
Kiểu: integer
tối thiểu:
1
tối đa:
5

Độ sâu tối đa của quá trình thu thập.
select_domains
Kiểu: array string[]

Mẫu regex để chỉ thu thập các tên miền hoặc tên miền phụ cụ thể.
select_paths
Kiểu: array string[]

Mẫu regex để chỉ chọn các URL có mẫu đường dẫn cụ thể.
timeout
Kiểu: number Định dạng: float
tối thiểu:
10
tối đa:
150

Thời gian tối đa tính bằng giây để chờ thao tác thu thập.

Phản hồi

200
Kiểu: object

Kết quả crawl được trả về thành công.
base_url
Kiểu: string

URL gốc đã được thu thập.

request_id
Kiểu: string

Mã định danh yêu cầu duy nhất.

response_time
Kiểu: number Định dạng: float

Thời gian tính bằng giây để hoàn thành yêu cầu.

results
Kiểu: array object[]
favicon
Kiểu: string

URL favicon của trang đã thu thập.

raw_content
Kiểu: string

Nội dung thô được trích xuất từ trang.

url
Kiểu: string

URL của trang đã thu thập.

usage
Kiểu: object
credits
Kiểu: integer

Chi tiết sử dụng tín dụng cho yêu cầu.
application/json
400

Không thể xử lý yêu cầu. Hãy kiểm tra các tham số yêu cầu.
401

Cần có khóa API Felo hợp lệ.
402

Không thể tiếp tục yêu cầu vì chưa đáp ứng yêu cầu thanh toán.
403

Tài khoản không được phép thực hiện thao tác này.
429

Đã đạt giới hạn yêu cầu hoặc giới hạn chi tiêu.
502

Dịch vụ không thể hoàn tất yêu cầu.
503

API hoặc dịch vụ thanh toán tạm thời không khả dụng.
504

Dịch vụ đã hết thời gian chờ khi xử lý yêu cầu.
default

Phản hồi lỗi; phản hồi chuyển tiếp từ thượng nguồn có thể dùng định dạng của nhà cung cấp

application/json

post/v1/beta/tavily/crawl

curl https://openapi.felo.ai/v1/beta/tavily/crawl \
  --request POST \
  --header 'Content-Type: application/json' \
  --header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
  --data '{
  "url": "docs.tavily.com",
  "instructions": "",
  "chunks_per_source": 3,
  "max_depth": 1,
  "max_breadth": 20,
  "limit": 50,
  "select_paths": [
    ""
  ],
  "select_domains": [
    ""
  ],
  "exclude_paths": [
    ""
  ],
  "exclude_domains": [
    ""
  ],
  "allow_external": true,
  "include_images": false,
  "extract_depth": "basic",
  "format": "markdown",
  "include_favicon": false,
  "timeout": 150,
  "include_usage": false
}'

Hiện schema

{
  "base_url": "string",
  "results": [
    {
      "url": "string",
      "raw_content": "string",
      "favicon": "string"
    }
  ],
  "response_time": 1,
  "usage": {
    "credits": 1
  },
  "request_id": "string"
}

Kết quả crawl được trả về thành công.

Công cụ duyệt website dựa trên đồ thị sử dụng Tavily Crawl.

Xác thựcRequired

Web Content

Công cụ duyệt website dựa trên đồ thị sử dụng Tavily Crawl.

Tham chiếu giá