أداة تجوّل في المواقع قائمة على الرسم البياني باستخدام Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
أداة تجوّل في المواقع قائمة على الرسم البياني باستخدام Tavily Crawl.
يجوب موقعًا انطلاقًا من url جذري ويعيد محتوى الصفحات التي يعثر عليها. وجّهه بـinstructions باللغة الطبيعية مع مرشّحات regex للمسارات والنطاقات، وحدّده بـmax_depth وmax_breadth وlimit. يعيد base_url وresults[] مع url وraw_content. استخدمه لتغطية واسعة لموقع واحد — التوثيق أو كتالوج أو مدونة منافس. يستجيب بشكل متزامن، بخلاف post_firecrawl_crawl: فذاك يعمل كمهمة في الخلفية ويناسب الزحف الأكبر من أن يُنتظر.
مرجع التسعير
- القياس: وحدات الاستجابة المقيسة.
- تقدير الطلب المرجعي: 0.024 دولار أمريكي.
- أساس تكلفة الوحدة: 0.008 دولار أمريكي.
- وحدة المورد:
tavily_credit. - مضاعف العميل المرجعي: 1.0. لا تُطبّقه مرة أخرى على مبلغ عميل مسوّى.
- لا تحدد أسس التكلفة السعر النهائي للعميل، بما في ذلك عندما تكون صفرًا.
بيانات وصفية مرجعية فقط، وليست عرض سعر للحساب ولا سعرًا مضمونًا ولا حدًا للإنفاق. أرصدة الموارد ليست أرصدة Felo. تتبع الرسوم النهائية سجلات فوترة Felo.
- النوع: stringurlمطلوب
عنوان URL الجذري لبدء الزحف.
- النوع: booleanallow
_external تضمين روابط النطاقات الخارجية في قائمة النتائج النهائية.
- النوع: integerchunks
_per _source الحد الأدنى:1الحد الأقصى:5الحد الأقصى لعدد المقاطع ذات الصلة المعادة لكل مصدر.
- النوع: array string[]exclude
_domains أنماط regex لاستبعاد نطاقات أو نطاقات فرعية محددة من الزحف.
- النوع: array string[]exclude
_paths أنماط regex لاستبعاد عناوين URL ذات أنماط مسارات محددة.
- النوع: string تعدادextract
_depth عمق عملية الاستخراج.
القيم- basic
- advanced
- النوع: string تعدادformat
تنسيق محتوى صفحة الويب المستخرج.
القيم- markdown
- text
- النوع: booleaninclude
_favicon تضمين عنوان URL لأيقونة الموقع لكل نتيجة.
- النوع: booleaninclude
_images تضمين الصور في نتائج الزحف.
- النوع: booleaninclude
_usage تضمين معلومات استخدام الأرصدة في الاستجابة.
- النوع: stringinstructions
تعليمات باللغة الطبيعية للزاحف.
- النوع: integerlimitالحد الأدنى:1
إجمالي عدد الروابط التي سيعالجها الزاحف قبل التوقف.
- النوع: integermax
_breadth الحد الأدنى:1الحد الأقصى:500الحد الأقصى لعدد الروابط المراد تتبعها لكل مستوى من الشجرة.
- النوع: integermax
_depth الحد الأدنى:1الحد الأقصى:5الحد الأقصى لعمق الزحف.
- النوع: array string[]select
_domains أنماط regex لتحديد الزحف إلى نطاقات أو نطاقات فرعية محددة.
- النوع: array string[]select
_paths أنماط regex لتحديد عناوين URL ذات أنماط مسارات محددة فقط.
- النوع: number التنسيق: floattimeoutالحد الأدنى:10الحد الأقصى:150
الحد الأقصى للوقت بالثواني لانتظار عملية الزحف.
- النوع: object200
أُعيدت نتائج الزحف بنجاح.
- النوع: stringbase
_url عنوان URL الأساسي الذي جرى زحفه.
- النوع: stringrequest
_id معرّف فريد للطلب.
- النوع: number التنسيق: floatresponse
_time الوقت بالثواني المستغرق لإكمال الطلب.
- النوع: array object[]results
- faviconالنوع: string
عنوان URL لأيقونة الموقع (favicon) للصفحة المزحوفة.
- rawالنوع: string
_content المحتوى الخام المستخرج من الصفحة.
- urlالنوع: string
عنوان URL للصفحة المزحوفة.
- النوع: objectusage
- creditsالنوع: integer
تفاصيل استخدام الأرصدة للطلب.
application/json - 400
تعذّرت معالجة الطلب. تحقق من معاملات الطلب.
- 401
مطلوب مفتاح API صالح من Felo.
- 402
لا يمكن متابعة الطلب لأن أحد متطلبات الفوترة غير مستوفٍ.
- 403
الحساب غير مصرّح له بهذه العملية.
- 429
تم بلوغ حد الطلبات أو حد الإنفاق.
- 502
تعذّر على الخدمة إكمال الطلب.
- 503
خدمة API أو الفوترة غير متاحة مؤقتًا.
- 504
انتهت مهلة الخدمة أثناء معالجة الطلب.
- default
استجابة خطأ؛ قد تستخدم استجابات المنبع الممرَّرة تنسيقات المزوّد
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}