Tavily Crawl ব্যবহার করা গ্রাফ-ভিত্তিক ওয়েবসাইট ট্র্যাভার্সাল টুল।
Web Content
Web crawling, URL discovery and page extraction.
Tavily Crawl ব্যবহার করা গ্রাফ-ভিত্তিক ওয়েবসাইট ট্র্যাভার্সাল টুল।
রুট url থেকে একটি সাইট ট্র্যাভার্স করুন এবং পাওয়া পেজগুলোর কনটেন্ট ফেরত দিন। ন্যাচারাল-ল্যাঙ্গুয়েজ instructions এবং regex পাথ ও ডোমেইন ফিল্টার দিয়ে এটি পরিচালনা করুন, আর max_depth, max_breadth ও limit দিয়ে সীমাবদ্ধ করুন। base_url এবং results[] ফেরত দেয় যাতে url ও raw_content থাকে। একটি সাইটের বিস্তৃত কভারেজের জন্য এটি ব্যবহার করুন — ডকুমেন্টেশন, ক্যাটালগ, প্রতিযোগীর ব্লগ। এটি সিঙ্ক্রোনাসভাবে উত্তর দেয়, যা post_firecrawl_crawl করে না: সেটি ব্যাকগ্রাউন্ড জব হিসেবে চলে এবং অপেক্ষা করার জন্য খুব বড় crawl-এর উপযুক্ত।
মূল্য রেফারেন্স
- মিটারিং: মিটার করা রেসপন্স ইউনিট
- রেফারেন্স রিকোয়েস্ট অনুমান: USD 0.024
- ইউনিট খরচের ভিত্তি: USD 0.008
- রিসোর্স ইউনিট:
tavily_credit - রেফারেন্স গ্রাহক মাল্টিপ্লায়ার: 1.0। নিষ্পত্তিকৃত গ্রাহক অঙ্কে এটি আবার প্রয়োগ করবেন না।
- খরচের ভিত্তি চূড়ান্ত গ্রাহক মূল্য নির্ধারণ করে না, শূন্য হলেও নয়।
এটি কেবল রেফারেন্স মেটাডেটা; অ্যাকাউন্টের কোটেশন, নিশ্চিত মূল্য বা ব্যয়সীমা নয়। রিসোর্স ক্রেডিট Felo ক্রেডিট নয়। চূড়ান্ত চার্জ Felo-এর বিলিং রেকর্ড অনুযায়ী হয়।
- টাইপ: stringurlআবশ্যক
ক্রল শুরু করার জন্য রুট URL।
- টাইপ: booleanallow
_external চূড়ান্ত ফলাফল তালিকায় বাহ্যিক ডোমেন লিংক অন্তর্ভুক্ত করুন।
- টাইপ: integerchunks
_per _source সর্বনিম্ন:1সর্বোচ্চ:5প্রতি সোর্সে ফেরত দেওয়া প্রাসঙ্গিক chunk-এর সর্বোচ্চ সংখ্যা।
- টাইপ: array string[]exclude
_domains ক্রলিং থেকে নির্দিষ্ট ডোমেন বা সাব-ডোমেন বাদ দিতে regex প্যাটার্ন।
- টাইপ: array string[]exclude
_paths নির্দিষ্ট পাথ প্যাটার্নযুক্ত URL বাদ দিতে regex প্যাটার্ন।
- টাইপ: string enumextract
_depth নিষ্কাশন প্রক্রিয়ার গভীরতা।
মান- basic
- advanced
- টাইপ: string enumformat
নিষ্কাশিত ওয়েব পেজ কনটেন্টের ফরম্যাট।
মান- markdown
- text
- টাইপ: booleaninclude
_favicon প্রতিটি ফলাফলের জন্য favicon URL অন্তর্ভুক্ত করুন।
- টাইপ: booleaninclude
_images ক্রল ফলাফলে ছবি অন্তর্ভুক্ত করুন।
- টাইপ: booleaninclude
_usage রেসপন্সে ক্রেডিট ব্যবহারের তথ্য অন্তর্ভুক্ত করুন।
- টাইপ: stringinstructions
ক্রলারের জন্য প্রাকৃতিক ভাষার নির্দেশনা।
- টাইপ: integerlimitসর্বনিম্ন:1
থামার আগে ক্রলার মোট যত লিংক প্রসেস করবে তার সংখ্যা।
- টাইপ: integermax
_breadth সর্বনিম্ন:1সর্বোচ্চ:500ট্রির প্রতিটি স্তরে অনুসরণ করার জন্য লিংকের সর্বোচ্চ সংখ্যা।
- টাইপ: integermax
_depth সর্বনিম্ন:1সর্বোচ্চ:5ক্রলের সর্বোচ্চ গভীরতা।
- টাইপ: array string[]select
_domains নির্দিষ্ট ডোমেন বা সাব-ডোমেনে ক্রলিং বেছে নিতে regex প্যাটার্ন।
- টাইপ: array string[]select
_paths শুধু নির্দিষ্ট পাথ প্যাটার্নযুক্ত URL বেছে নিতে regex প্যাটার্ন।
- টাইপ: number ফরম্যাট: floattimeoutসর্বনিম্ন:10সর্বোচ্চ:150
ক্রল অপারেশনের জন্য অপেক্ষার সর্বোচ্চ সময় (সেকেন্ডে)।
- টাইপ: object200
crawl ফলাফল সফলভাবে ফেরত এসেছে।
- টাইপ: stringbase
_url যে base URL ক্রল করা হয়েছিল।
- টাইপ: stringrequest
_id অনন্য রিকোয়েস্ট আইডেন্টিফায়ার।
- টাইপ: number ফরম্যাট: floatresponse
_time রিকোয়েস্ট সম্পন্ন করতে যে সময় লেগেছে (সেকেন্ডে)।
- টাইপ: array object[]results
- faviconটাইপ: string
ক্রল করা পেজের favicon URL।
- rawটাইপ: string
_content পেজ থেকে বের করা কাঁচা কনটেন্ট।
- urlটাইপ: string
ক্রল করা পেজের URL।
- টাইপ: objectusage
- creditsটাইপ: integer
রিকোয়েস্টের ক্রেডিট ব্যবহারের বিবরণ।
application/json - 400
রিকোয়েস্ট প্রক্রিয়া করা যায়নি। রিকোয়েস্ট প্যারামিটার যাচাই করুন।
- 401
একটি বৈধ Felo API key আবশ্যক।
- 402
বিলিং শর্ত পূরণ না হওয়ায় রিকোয়েস্ট এগোতে পারছে না।
- 403
অ্যাকাউন্টটিকে এই অপারেশন করার অনুমতি নেই।
- 429
রিকোয়েস্ট বা ব্যয়ের সীমায় পৌঁছে গেছে।
- 502
পরিষেবা রিকোয়েস্টটি সম্পন্ন করতে পারেনি।
- 503
API বা বিলিং পরিষেবা সাময়িকভাবে অনুপলভ্য।
- 504
রিকোয়েস্ট প্রক্রিয়াকরণের সময় পরিষেবার সময় শেষ হয়ে গেছে।
- default
ত্রুটি রেসপন্স; আপস্ট্রিম passthrough রেসপন্স প্রোভাইডারের ফর্ম্যাট ব্যবহার করতে পারে।
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}