ابزار پیمایش وب‌سایت مبتنی بر گراف با Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
ابزار پیمایش وب‌سایت مبتنی بر گراف با Tavily Crawl.
یک سایت را از url ریشه می‌پیماید و محتوای صفحه‌هایی را که پیدا می‌کند برمی‌گرداند. آن را با instructions به زبان طبیعی به‌همراه فیلترهای regex مسیر و دامنه هدایت کنید و با max_depth، max_breadth و limit محدود کنید. base_url و results[] را با url و raw_content برمی‌گرداند. برای پوشش گسترده یک سایت — مستندات، یک کاتالوگ، وبلاگ یک رقیب — از آن استفاده کنید. همگام پاسخ می‌دهد، برخلاف post_firecrawl_crawl: آن یکی به‌صورت کار پس‌زمینه اجرا می‌شود و برای خزش‌هایی مناسب است که بیش از حد بزرگ‌اند برای انتظار.
مرجع قیمت‌گذاری
- اندازه‌گیری: واحدهای پاسخ اندازه‌گیری‌شده.
- برآورد درخواست مرجع: 0.024 دلار آمریکا.
- مبنای هزینه واحد: 0.008 دلار آمریکا.
- واحد منبع:
tavily_credit. - ضریب مشتری مرجع: 1.0. آن را دوباره روی مبلغ تسویه‌شده مشتری اعمال نکنید.
- مبناهای هزینه، قیمت نهایی مشتری را تعیین نمی‌کنند، از جمله وقتی صفر باشند.
فقط فراداده مرجع است، نه نقل‌قول حساب، نه قیمت تضمین‌شده و نه سقف هزینه. اعتبار منابع، اعتبار Felo نیست. هزینه‌های نهایی تابع سوابق صورت‌حساب Felo است.
- نوع: stringurlالزامی
URL ریشه برای شروع خزش.
- نوع: booleanallow
_external شامل‌کردن پیوندهای دامنه‌های خارجی در فهرست نتایج نهایی.
- نوع: integerchunks
_per _source حداقل:1حداکثر:5حداکثر تعداد قطعه‌های مرتبط برگشتی برای هر منبع.
- نوع: array string[]exclude
_domains الگوهای regex برای حذف دامنه‌ها یا زیردامنه‌های مشخص از خزش.
- نوع: array string[]exclude
_paths الگوهای regex برای حذف URLهایی با الگوهای مسیر مشخص.
- نوع: string فهرست مقادیرextract
_depth عمق فرایند استخراج.
مقادیر- basic
- advanced
- نوع: string فهرست مقادیرformat
قالب محتوای صفحه وب استخراج‌شده.
مقادیر- markdown
- text
- نوع: booleaninclude
_favicon شامل‌کردن URL فاوآیکون برای هر نتیجه.
- نوع: booleaninclude
_images شامل‌کردن تصاویر در نتایج خزش.
- نوع: booleaninclude
_usage شامل‌کردن اطلاعات مصرف اعتبار در پاسخ.
- نوع: stringinstructions
دستورهای زبان طبیعی برای خزنده.
- نوع: integerlimitحداقل:1
تعداد کل پیوندهایی که خزنده پیش از توقف پردازش می‌کند.
- نوع: integermax
_breadth حداقل:1حداکثر:500حداکثر تعداد پیوندهای دنبال‌شده در هر سطح از درخت.
- نوع: integermax
_depth حداقل:1حداکثر:5حداکثر عمق خزش.
- نوع: array string[]select
_domains الگوهای regex برای انتخاب خزش به دامنه‌ها یا زیردامنه‌های مشخص.
- نوع: array string[]select
_paths الگوهای regex برای انتخاب فقط URLهایی با الگوهای مسیر مشخص.
- نوع: number قالب: floattimeoutحداقل:10حداکثر:150
حداکثر زمان به ثانیه برای انتظار عملیات خزش.
- نوع: object200
نتایج خزش با موفقیت برگردانده شد.
- نوع: stringbase
_url URL پایه‌ای که خزش شده است.
- نوع: stringrequest
_id شناسه یکتای درخواست.
- نوع: number قالب: floatresponse
_time زمان به ثانیه که تکمیل درخواست طول کشید.
- نوع: array object[]results
- faviconنوع: string
URL فاوآیکون صفحه خزش‌شده.
- rawنوع: string
_content محتوای خام استخراج‌شده از صفحه.
- urlنوع: string
URL صفحه خزش‌شده.
- نوع: objectusage
- creditsنوع: integer
جزئیات مصرف اعتبار برای درخواست.
application/json - 400
درخواست پردازش نشد. پارامترهای درخواست را بررسی کنید.
- 401
یک کلید API معتبر Felo لازم است.
- 402
درخواست ادامه نمی‌یابد چون یک الزام صورت‌حساب برآورده نشده است.
- 403
حساب مجاز به انجام این عملیات نیست.
- 429
به سقف درخواست یا هزینه رسیده‌اید.
- 502
سرویس نتوانست درخواست را کامل کند.
- 503
سرویس API یا صورت‌حساب موقتاً در دسترس نیست.
- 504
سرویس هنگام پردازش درخواست به پایان مهلت رسید.
- default
پاسخ خطا؛ پاسخ‌های عبوری بالادست ممکن است از قالب‌های ارائه‌دهنده استفاده کنند
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}