เครื่องมือท่องเว็บไซต์แบบกราฟโดยใช้ Tavily Crawl
Web Content
Web crawling, URL discovery and page extraction.
เครื่องมือท่องเว็บไซต์แบบกราฟโดยใช้ Tavily Crawl
เดินสำรวจไซต์จาก url เริ่มต้น และคืนเนื้อหาของหน้าที่พบ กำหนดทิศทางด้วย instructions ภาษาธรรมชาติพร้อมตัวกรองเส้นทางและโดเมนแบบ regex และจำกัดขอบเขตด้วย max_depth, max_breadth และ limit คืนค่า base_url และ results[] ที่มี url และ raw_content ใช้เมื่อต้องการครอบคลุมไซต์เดียวในวงกว้าง — เอกสาร แคตตาล็อก หรือบล็อกของคู่แข่ง endpoint นี้ตอบแบบซิงโครนัส ซึ่ง post_firecrawl_crawl ไม่ทำ: ตัวนั้นทำงานเป็นงานเบื้องหลังและเหมาะกับการ crawl ที่ใหญ่เกินกว่าจะรอ
ข้อมูลอ้างอิงราคา
- การวัดปริมาณการใช้งาน: หน่วยการตอบกลับที่วัดปริมาณ
- ค่าประมาณคำขออ้างอิง: USD 0.024
- ต้นทุนต่อหน่วยพื้นฐาน: USD 0.008
- หน่วยทรัพยากร:
tavily_credit - ตัวคูณอ้างอิงสำหรับลูกค้า: 1.0 ห้ามนำไปใช้ซ้ำกับยอดที่เรียกเก็บจากลูกค้าแล้ว
- ต้นทุนพื้นฐานไม่ได้กำหนดราคาสุดท้ายของลูกค้า รวมถึงกรณีที่เป็นศูนย์
เป็นข้อมูลเมตาอ้างอิงเท่านั้น ไม่ใช่ใบเสนอราคาสำหรับบัญชี ไม่ใช่ราคาที่รับประกัน และไม่ใช่เพดานการใช้จ่าย เครดิตของทรัพยากรไม่ใช่เครดิต Felo ยอดเรียกเก็บขั้นสุดท้ายเป็นไปตามบันทึกการเรียกเก็บเงินของ Felo
- ประเภท: stringurlจำเป็น
URL รากที่จะเริ่มการ crawl
- ประเภท: booleanallow
_external รวมลิงก์โดเมนภายนอกไว้ในรายการผลลัพธ์สุดท้าย
- ประเภท: integerchunks
_per _source ต่ำสุด:1สูงสุด:5จำนวนชังก์ที่เกี่ยวข้องสูงสุดที่คืนต่อแหล่งข้อมูล
- ประเภท: array string[]exclude
_domains แพตเทิร์น regex เพื่อตัดโดเมนหรือซับโดเมนที่ระบุออกจากการ crawl
- ประเภท: array string[]exclude
_paths แพตเทิร์น regex เพื่อตัด URL ที่มีแพตเทิร์นพาธที่ระบุออก
- ประเภท: string enumextract
_depth ความลึกของกระบวนการแยกเนื้อหา
ค่า- basic
- advanced
- ประเภท: string enumformat
รูปแบบของเนื้อหาเว็บเพจที่แยกออกมา
ค่า- markdown
- text
- ประเภท: booleaninclude
_favicon รวม URL favicon สำหรับแต่ละผลลัพธ์
- ประเภท: booleaninclude
_images รวมรูปภาพไว้ในผลลัพธ์การ crawl
- ประเภท: booleaninclude
_usage รวมข้อมูลการใช้เครดิตไว้ในการตอบกลับ
- ประเภท: stringinstructions
คำสั่งภาษาธรรมชาติสำหรับ crawler
- ประเภท: integerlimitต่ำสุด:1
จำนวนลิงก์ทั้งหมดที่ crawler จะประมวลผลก่อนหยุด
- ประเภท: integermax
_breadth ต่ำสุด:1สูงสุด:500จำนวนลิงก์สูงสุดที่จะติดตามต่อหนึ่งระดับของต้นไม้
- ประเภท: integermax
_depth ต่ำสุด:1สูงสุด:5ความลึกสูงสุดของการ crawl
- ประเภท: array string[]select
_domains แพตเทิร์น regex เพื่อเลือกการ crawl เฉพาะโดเมนหรือซับโดเมนที่ระบุ
- ประเภท: array string[]select
_paths แพตเทิร์น regex เพื่อเลือกเฉพาะ URL ที่มีแพตเทิร์นพาธที่ระบุ
- ประเภท: number รูปแบบ: floattimeoutต่ำสุด:10สูงสุด:150
เวลารอสูงสุดเป็นวินาทีสำหรับการดำเนินการ crawl
- ประเภท: object200
คืนผลลัพธ์การ crawl สำเร็จแล้ว
- ประเภท: stringbase
_url URL ฐานที่ถูก crawl
- ประเภท: stringrequest
_id ตัวระบุคำขอที่ไม่ซ้ำ
- ประเภท: number รูปแบบ: floatresponse
_time เวลาเป็นวินาทีที่ใช้ในการดำเนินการคำขอให้เสร็จ
- ประเภท: array object[]results
- faviconประเภท: string
URL favicon ของหน้าที่ถูก crawl
- rawประเภท: string
_content เนื้อหาดิบที่แยกออกมาจากหน้า
- urlประเภท: string
URL ของหน้าที่ถูก crawl
- ประเภท: objectusage
- creditsประเภท: integer
รายละเอียดการใช้เครดิตของคำขอ
application/json - 400
ไม่สามารถประมวลผลคำขอได้ ตรวจสอบพารามิเตอร์ของคำขอ
- 401
จำเป็นต้องใช้คีย์ API ของ Felo ที่ถูกต้อง
- 402
ไม่สามารถดำเนินการตามคำขอได้ เนื่องจากไม่เป็นไปตามข้อกำหนดด้านการเรียกเก็บเงิน
- 403
บัญชีไม่ได้รับอนุญาตให้ดำเนินการนี้
- 429
ถึงขีดจำกัดคำขอหรือการใช้จ่ายแล้ว
- 502
บริการไม่สามารถดำเนินการตามคำขอให้เสร็จสิ้นได้
- 503
API หรือบริการเรียกเก็บเงินไม่พร้อมใช้งานชั่วคราว
- 504
บริการหมดเวลาระหว่างประมวลผลคำขอ
- default
การตอบกลับข้อผิดพลาด; การตอบกลับที่ส่งผ่านจากต้นทางอาจใช้รูปแบบของผู้ให้บริการ
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}