Web Content
Web crawling, URL discovery and page extraction.
יצירת מפות אתר מקיפות באמצעות Tavily Map.
מציג את כתובות ה-URL של אתר מכתובת url שורש בלי למשוך תוכן של אף עמוד. כוונו אותו עם instructions בשפה טבעית ומסנני regex select_paths / exclude_paths / select_domains. מחזיר base_url ו-results — מערך שטוח של מחרוזות URL, לא אובייקטים — עם response_time ו-request_id. השתמשו בו כדי לאמוד את גודל האתר לפני התחייבות לזחילה, ואז משכו רק את החלקים החשובים עם extractWebContent. כשרוצים את התוכן ולא את הצורה, post_tavily_crawl עושה את שניהם בקריאה אחת.
מראה תמחור
- מדידה: יחידות תגובה נמדדות.
- אומדן בקשת ייחוס: 0.064 דולר ארה״ב.
- בסיס עלות יחידה: 0.008 דולר ארה״ב.
- יחידת משאב:
tavily_credit. - מכפיל לקוח לייחוס: 1.0. אין להחיל אותו בשנית על סכום לקוח שכבר נקבע.
- בסיסי עלות אינם קובעים את מחיר הלקוח הסופי, גם כשהם אפס.
זהו מטא-נתון לעיון בלבד, לא הצעת מחיר לחשבון, לא מחיר מובטח ולא תקרת הוצאה. קרדיטי משאבים אינם קרדיטים של Felo. החיוב הסופי נעשה לפי רשומות החיוב של Felo.
- סוג: stringurlחובה
כתובת ה-URL הבסיסית להתחלת המיפוי.
- סוג: booleanallow
_external כלילת קישורים לדומיינים חיצוניים ברשימת התוצאות הסופית.
- סוג: array string[]exclude
_domains תבניות regex להחרגת דומיינים או תתי-דומיינים ספציפיים מהמיפוי.
- סוג: array string[]exclude
_paths תבניות regex להחרגת כתובות URL עם תבניות נתיב ספציפיות.
- סוג: booleaninclude
_usage כלילת מידע על שימוש בקרדיטים בתגובה.
- סוג: stringinstructions
הוראות בשפה טבעית עבור הזוחל.
- סוג: integerlimitמינימום:1
המספר הכולל של קישורים שהזוחל יעבד לפני שיעצור.
- סוג: integermax
_breadth מינימום:1מקסימום:500המספר המרבי של קישורים למעקב בכל רמה בעץ.
- סוג: integermax
_depth מינימום:1מקסימום:5העומק המרבי של המיפוי.
- סוג: array string[]select
_domains תבניות regex לבחירת זחילה לדומיינים או תתי-דומיינים ספציפיים.
- סוג: array string[]select
_paths תבניות regex לבחירת כתובות URL עם תבניות נתיב ספציפיות בלבד.
- סוג: number פורמט: floattimeoutמינימום:10מקסימום:150
הזמן המרבי בשניות להמתנה לפעולת המיפוי.
- סוג: object200
תוצאות Map הוחזרו בהצלחה.
- סוג: stringbase
_url כתובת ה-URL הבסיסית שמופתה.
- סוג: stringrequest
_id מזהה בקשה ייחודי.
- סוג: number פורמט: floatresponse
_time הזמן בשניות שנדרש להשלמת הבקשה.
- סוג: array string[]results
- סוג: objectusage
- creditsסוג: integer
פרטי שימוש בקרדיטים עבור הבקשה.
application/json - 400
לא ניתן היה לעבד את הבקשה. בדקו את פרמטרי הבקשה.
- 401
נדרש מפתח API תקף של Felo.
- 402
לא ניתן להמשיך את הבקשה משום שדרישת חיוב אינה מתקיימת.
- 403
החשבון אינו מורשה לבצע את הפעולה הזו.
- 429
הגעתם למגבלת בקשות או לתקרת הוצאה.
- 502
השירות לא הצליח להשלים את הבקשה.
- 503
שירות ה-API או החיוב אינו זמין באופן זמני.
- 504
השירות פג בזמן הטיפול בבקשה.
- default
תגובת שגיאה; תגובות מעבר מהמעלה הזרם עשויות להשתמש בפורמטים של הספק
application/json
curl https://openapi.felo.ai/v1/beta/tavily/map \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
"string"
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}