Tavily Crawl का उपयोग करने वाला ग्राफ़-आधारित वेबसाइट ट्रैवर्सल टूल।
Web Content
Web crawling, URL discovery and page extraction.
Tavily Crawl का उपयोग करने वाला ग्राफ़-आधारित वेबसाइट ट्रैवर्सल टूल।
रूट url से किसी साइट को ट्रैवर्स करें और मिलने वाले पेजों का कंटेंट लौटाएँ। इसे नेचुरल-लैंग्वेज instructions के साथ regex पाथ और डोमेन फ़िल्टर से नियंत्रित करें, और max_depth, max_breadth तथा limit से सीमित करें। base_url और results[] लौटाता है जिनमें url और raw_content होते हैं। इसे एक साइट की व्यापक कवरेज के लिए उपयोग करें — डॉक्युमेंटेशन, कैटलॉग, किसी प्रतिस्पर्धी का ब्लॉग। यह सिंक्रोनस रूप से उत्तर देता है, जो post_firecrawl_crawl नहीं करता: वह बैकग्राउंड जॉब के रूप में चलता है और ऐसे crawl के लिए उपयुक्त है जो इंतज़ार के लिए बहुत बड़े हों।
मूल्य संदर्भ
- मीटरिंग: मीटर की गई response यूनिट
- संदर्भ request अनुमान: USD 0.024
- यूनिट लागत आधार: USD 0.008
- रिसोर्स यूनिट:
tavily_credit - संदर्भ ग्राहक गुणक: 1.0। निपटाई गई ग्राहक राशि पर इसे दोबारा लागू न करें।
- लागत आधार अंतिम ग्राहक मूल्य तय नहीं करते, शून्य होने पर भी नहीं।
यह केवल संदर्भ मेटाडेटा है — खाते का कोटेशन, गारंटीशुदा मूल्य या खर्च सीमा नहीं। रिसोर्स क्रेडिट Felo क्रेडिट नहीं हैं। अंतिम शुल्क Felo बिलिंग रिकॉर्ड के अनुसार लगते हैं।
- टाइप: stringurlआवश्यक
क्रॉल शुरू करने के लिए रूट URL।
- टाइप: booleanallow
_external अंतिम परिणाम सूची में बाहरी डोमेन लिंक शामिल करें।
- टाइप: integerchunks
_per _source न्यूनतम:1अधिकतम:5प्रति स्रोत लौटाए गए प्रासंगिक chunks की अधिकतम संख्या।
- टाइप: array string[]exclude
_domains क्रॉलिंग से विशिष्ट डोमेन या सब-डोमेन बाहर रखने के लिए regex पैटर्न।
- टाइप: array string[]exclude
_paths विशिष्ट पाथ पैटर्न वाले URL बाहर रखने के लिए regex पैटर्न।
- टाइप: string enumextract
_depth निष्कर्षण प्रक्रिया की गहराई।
मान- basic
- advanced
- टाइप: string enumformat
निकाले गए वेब पेज कंटेंट का प्रारूप।
मान- markdown
- text
- टाइप: booleaninclude
_favicon प्रत्येक परिणाम के लिए favicon URL शामिल करें।
- टाइप: booleaninclude
_images क्रॉल परिणामों में इमेज शामिल करें।
- टाइप: booleaninclude
_usage response में क्रेडिट उपयोग जानकारी शामिल करें।
- टाइप: stringinstructions
क्रॉलर के लिए प्राकृतिक भाषा निर्देश।
- टाइप: integerlimitन्यूनतम:1
रुकने से पहले क्रॉलर जितने लिंक प्रोसेस करेगा उनकी कुल संख्या।
- टाइप: integermax
_breadth न्यूनतम:1अधिकतम:500ट्री के प्रत्येक स्तर पर फ़ॉलो करने के लिए लिंक की अधिकतम संख्या।
- टाइप: integermax
_depth न्यूनतम:1अधिकतम:5क्रॉल की अधिकतम गहराई।
- टाइप: array string[]select
_domains विशिष्ट डोमेन या सब-डोमेन तक क्रॉलिंग चुनने के लिए regex पैटर्न।
- टाइप: array string[]select
_paths केवल विशिष्ट पाथ पैटर्न वाले URL चुनने के लिए regex पैटर्न।
- टाइप: number फ़ॉर्मेट: floattimeoutन्यूनतम:10अधिकतम:150
क्रॉल ऑपरेशन की प्रतीक्षा के लिए सेकंड में अधिकतम समय।
- टाइप: object200
crawl परिणाम सफलतापूर्वक लौटाए गए।
- टाइप: stringbase
_url जिस base URL को क्रॉल किया गया।
- टाइप: stringrequest
_id अद्वितीय request पहचानकर्ता।
- टाइप: number फ़ॉर्मेट: floatresponse
_time request पूरा करने में लगा समय सेकंड में।
- टाइप: array object[]results
- faviconटाइप: string
क्रॉल किए गए पेज का favicon URL।
- rawटाइप: string
_content पेज से निकाला गया कच्चा कंटेंट।
- urlटाइप: string
क्रॉल किए गए पेज का URL।
- टाइप: objectusage
- creditsटाइप: integer
request के लिए क्रेडिट उपयोग विवरण।
application/json - 400
request संसाधित नहीं किया जा सका। request पैरामीटर जाँचें।
- 401
एक वैध Felo API key आवश्यक है।
- 402
request आगे नहीं बढ़ सकता क्योंकि बिलिंग आवश्यकता पूरी नहीं हुई है।
- 403
खाते को यह ऑपरेशन करने की अनुमति नहीं है।
- 429
request या खर्च की सीमा तक पहुँच गए हैं।
- 502
सेवा request पूरा नहीं कर सकी।
- 503
API या बिलिंग सेवा अस्थायी रूप से उपलब्ध नहीं है।
- 504
request संसाधित करते समय सेवा का समय समाप्त हो गया।
- default
त्रुटि response; upstream passthrough response प्रोवाइडर फ़ॉर्मेट का उपयोग कर सकते हैं।
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}