Web Content
Web crawling, URL discovery and page extraction.
以圖為基礎的網站遍歷工具，使用 Tavily Crawl。
從根 url 遍歷網站，傳回所發現頁面的內容。以自然語言 instructions 加上正規表示式路徑與網域篩選器引導，並以 max_depth、max_breadth 與 limit 設限。傳回 base_url 與 results[]，其中包含 url 與 raw_content。適合對單一網站做廣泛涵蓋——文件、型錄、競品部落格。它會同步回應，post_firecrawl_crawl 則不會：後者以背景作業執行，適合無法等待的大型爬取。
計費參考
- 計量方式：依回應單位計量。
- 參考請求估算：0.024 美元。
- 單位成本基準：0.008 美元。
- 資源單位：
tavily_credit。 - 參考客戶乘數：1.0。不得再次套用於已結算的客戶金額。
- 成本基礎不構成最終客戶價格，即使為零亦同。
僅供參考的中繼資料，並非帳戶報價、保證價格或消費上限。資源額度並非 Felo 額度。最終費用依 Felo 計費記錄為準。
- 類型: stringurl必填
開始爬取的根 URL。
- 類型: booleanallow
_external 在最終結果清單中包含外部網域連結。
- 類型: integerchunks
_per _source 最小值:1最大值:5每個來源傳回的相關區塊最大數。
- 類型: array string[]exclude
_domains 用於在爬取時排除特定網域或子網域的正規表達式模式。
- 類型: array string[]exclude
_paths 用於排除具有特定路徑模式之 URL 的正規表達式模式。
- 類型: string 列舉extract
_depth 擷取過程的深度。
值- basic
- advanced
- 類型: string 列舉format
擷取的網頁內容格式。
值- markdown
- text
- 類型: booleaninclude
_favicon 為每筆結果包含 favicon URL。
- 類型: booleaninclude
_images 在爬取結果中包含圖片。
- 類型: booleaninclude
_usage 在回應中包含額度用量資訊。
- 類型: stringinstructions
給爬蟲的自然語言指示。
- 類型: integerlimit最小值:1
爬蟲停止前會處理的連結總數。
- 類型: integermax
_breadth 最小值:1最大值:500樹的每一層最多跟隨的連結數。
- 類型: integermax
_depth 最小值:1最大值:5爬取的最大深度。
- 類型: array string[]select
_domains 用於將爬取限定到特定網域或子網域的正規表達式模式。
- 類型: array string[]select
_paths 用於僅選取具有特定路徑模式之 URL 的正規表達式模式。
- 類型: number 格式: floattimeout最小值:10最大值:150
爬取操作的最長等待時間（秒）。
- 類型: object200
已成功傳回爬取結果。
- 類型: stringbase
_url 被爬取的基準 URL。
- 類型: stringrequest
_id 唯一的請求識別碼。
- 類型: number 格式: floatresponse
_time 完成該請求所用的時間（秒）。
- 類型: array object[]results
- favicon類型: string
已爬取頁面的 Favicon URL。
- raw類型: string
_content 從頁面擷取的原始內容。
- url類型: string
已爬取頁面的 URL。
- 類型: objectusage
- credits類型: integer
此請求的額度用量詳情。
application/json - 400
無法處理該要求。請檢查請求參數。
- 401
需要有效的 Felo API 金鑰。
- 402
由於未符合計費要求，要求無法繼續。
- 403
該帳戶無權執行此操作。
- 429
已達到要求或支出上限。
- 502
服務無法完成該要求。
- 503
API 或計費服務暫時無法使用。
- 504
服務在處理要求時逾時。
- default
錯誤回應；上游透傳回應可能採用供應商格式
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}