כלי מעבר אתרים מבוסס גרף באמצעות Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
כלי מעבר אתרים מבוסס גרף באמצעות Tavily Crawl.
עובר אתר מכתובת url שורש ומחזיר את תוכן העמודים שהוא מוצא. כוונו אותו עם instructions בשפה טבעית ועם מסנני regex לנתיבים ולדומיינים, והגבילו עם max_depth, max_breadth ו-limit. מחזיר base_url ו-results[] עם url ו-raw_content. השתמשו בו לכיסוי רחב של אתר אחד — תיעוד, קטלוג או בלוג של מתחרה. הוא עונה באופן סינכרוני, בעוד post_firecrawl_crawl לא: זה רץ כמשימת רקע ומתאים לזחילות גדולות מכדי להמתין להן.
מראה תמחור
- מדידה: יחידות תגובה נמדדות.
- אומדן בקשת ייחוס: 0.024 דולר ארה״ב.
- בסיס עלות יחידה: 0.008 דולר ארה״ב.
- יחידת משאב:
tavily_credit. - מכפיל לקוח לייחוס: 1.0. אין להחיל אותו בשנית על סכום לקוח שכבר נקבע.
- בסיסי עלות אינם קובעים את מחיר הלקוח הסופי, גם כשהם אפס.
זהו מטא-נתון לעיון בלבד, לא הצעת מחיר לחשבון, לא מחיר מובטח ולא תקרת הוצאה. קרדיטי משאבים אינם קרדיטים של Felo. החיוב הסופי נעשה לפי רשומות החיוב של Felo.
- סוג: stringurlחובה
כתובת ה-URL הבסיסית להתחלת הזחילה.
- סוג: booleanallow
_external כלילת קישורים לדומיינים חיצוניים ברשימת התוצאות הסופית.
- סוג: integerchunks
_per _source מינימום:1מקסימום:5המספר המרבי של קטעים רלוונטיים המוחזרים לכל מקור.
- סוג: array string[]exclude
_domains תבניות regex להחרגת דומיינים או תתי-דומיינים ספציפיים מהזחילה.
- סוג: array string[]exclude
_paths תבניות regex להחרגת כתובות URL עם תבניות נתיב ספציפיות.
- סוג: string enumextract
_depth עומק תהליך החילוץ.
ערכים- basic
- advanced
- סוג: string enumformat
הפורמט של תוכן עמוד האינטרנט שחולץ.
ערכים- markdown
- text
- סוג: booleaninclude
_favicon כלילת כתובת ה-URL של ה-favicon עבור כל תוצאה.
- סוג: booleaninclude
_images כלילת תמונות בתוצאות הזחילה.
- סוג: booleaninclude
_usage כלילת מידע על שימוש בקרדיטים בתגובה.
- סוג: stringinstructions
הוראות בשפה טבעית עבור הזוחל.
- סוג: integerlimitמינימום:1
המספר הכולל של קישורים שהזוחל יעבד לפני שיעצור.
- סוג: integermax
_breadth מינימום:1מקסימום:500המספר המרבי של קישורים למעקב בכל רמה בעץ.
- סוג: integermax
_depth מינימום:1מקסימום:5העומק המרבי של הזחילה.
- סוג: array string[]select
_domains תבניות regex לבחירת זחילה לדומיינים או תתי-דומיינים ספציפיים.
- סוג: array string[]select
_paths תבניות regex לבחירת כתובות URL עם תבניות נתיב ספציפיות בלבד.
- סוג: number פורמט: floattimeoutמינימום:10מקסימום:150
הזמן המרבי בשניות להמתנה לפעולת הזחילה.
- סוג: object200
תוצאות הזחילה הוחזרו בהצלחה.
- סוג: stringbase
_url כתובת ה-URL הבסיסית שנזחלה.
- סוג: stringrequest
_id מזהה בקשה ייחודי.
- סוג: number פורמט: floatresponse
_time הזמן בשניות שנדרש להשלמת הבקשה.
- סוג: array object[]results
- faviconסוג: string
כתובת URL של favicon עבור העמוד שנזחל.
- rawסוג: string
_content תוכן גולמי שחולץ מהעמוד.
- urlסוג: string
כתובת ה-URL של העמוד שנזחל.
- סוג: objectusage
- creditsסוג: integer
פרטי שימוש בקרדיטים עבור הבקשה.
application/json - 400
לא ניתן היה לעבד את הבקשה. בדקו את פרמטרי הבקשה.
- 401
נדרש מפתח API תקף של Felo.
- 402
לא ניתן להמשיך את הבקשה משום שדרישת חיוב אינה מתקיימת.
- 403
החשבון אינו מורשה לבצע את הפעולה הזו.
- 429
הגעתם למגבלת בקשות או לתקרת הוצאה.
- 502
השירות לא הצליח להשלים את הבקשה.
- 503
שירות ה-API או החיוב אינו זמין באופן זמני.
- 504
השירות פג בזמן הטיפול בבקשה.
- default
תגובת שגיאה; תגובות מעבר מהמעלה הזרם עשויות להשתמש בפורמטים של הספק
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}