Tavily Crawl kullanan grafik tabanlı web sitesi dolaşma aracı.
Web Content
Web crawling, URL discovery and page extraction.
Tavily Crawl kullanan grafik tabanlı web sitesi dolaşma aracı.
Bir siteyi kök url üzerinden dolaşır ve bulduğu sayfaların içeriğini döndürür. Doğal dildeki instructions ile birlikte regex yol ve alan adı filtreleriyle yönlendirin, max_depth, max_breadth ve limit ile sınırlayın. base_url ve url ile raw_content içeren results[] döndürür. Tek bir sitenin geniş kapsamı için kullanın — dokümantasyon, katalog, rakibin blogu. Eşzamanlı yanıt verir; post_firecrawl_crawl bunu yapmaz: o arka plan görevi olarak çalışır ve beklenemeyecek kadar büyük taramalar için uygundur.
Fiyatlandırma referansı
- Ölçümlendirme: ölçümlendirilen yanıt birimleri.
- Referans istek tahmini: USD 0.024.
- Birim maliyet esası: USD 0.008.
- Kaynak birimi:
tavily_credit. - Referans müşteri çarpanı: 1.0. Kesinleşmiş müşteri tutarına yeniden uygulamayın.
- Maliyet esasları, sıfır olduğunda dahi nihai müşteri fiyatını belirlemez.
Yalnızca referans üst verisidir; hesap teklifi, garantili fiyat veya harcama üst sınırı değildir. Kaynak kredileri Felo kredisi değildir. Nihai ücretler Felo faturalandırma kayıtlarını izler.
- Tür: stringurlgerekli
Taramanın başlayacağı kök URL.
- Tür: booleanallow
_external Nihai sonuç listesine harici alan adı bağlantılarını dahil edin.
- Tür: integerchunks
_per _source min:1maks:5Kaynak başına döndürülen maksimum ilgili parça sayısı.
- Tür: array string[]exclude
_domains Belirli alan adlarını veya alt alan adlarını taramadan hariç tutmak için regex desenleri.
- Tür: array string[]exclude
_paths Belirli yol desenlerine sahip URL'leri hariç tutmak için regex desenleri.
- Tür: string enumextract
_depth Çıkarma işleminin derinliği.
değerler- basic
- advanced
- Tür: string enumformat
Çıkarılan web sayfası içeriğinin biçimi.
değerler- markdown
- text
- Tür: booleaninclude
_favicon Her sonuç için favicon URL'sini ekleyin.
- Tür: booleaninclude
_images Tarama sonuçlarına görselleri dahil edin.
- Tür: booleaninclude
_usage Yanıta kredi kullanım bilgilerini dahil edin.
- Tür: stringinstructions
Tarayıcı için doğal dil talimatları.
- Tür: integerlimitmin:1
Tarayıcının durmadan önce işleyeceği toplam bağlantı sayısı.
- Tür: integermax
_breadth min:1maks:500Ağacın her düzeyinde izlenecek maksimum bağlantı sayısı.
- Tür: integermax
_depth min:1maks:5Taramanın maksimum derinliği.
- Tür: array string[]select
_domains Taramayı belirli alan adları veya alt alan adlarıyla sınırlamak için regex desenleri.
- Tür: array string[]select
_paths Yalnızca belirli yol desenlerine sahip URL'leri seçmek için regex desenleri.
- Tür: number Biçim: floattimeoutmin:10maks:150
Tarama işlemi için beklenecek maksimum süre (saniye).
- Tür: object200
Tarama sonuçları başarıyla döndürüldü.
- Tür: stringbase
_url Taranan temel URL.
- Tür: stringrequest
_id Benzersiz istek tanımlayıcısı.
- Tür: number Biçim: floatresponse
_time İsteğin tamamlanmasının aldığı süre (saniye).
- Tür: array object[]results
- faviconTür: string
Taranan sayfanın favicon URL'si.
- rawTür: string
_content Sayfadan çıkarılan ham içerik.
- urlTür: string
Taranan sayfanın URL'si.
- Tür: objectusage
- creditsTür: integer
İstek için kredi kullanım ayrıntıları.
application/json - 400
İstek işlenemedi. İstek parametrelerini kontrol edin.
- 401
Geçerli bir Felo API anahtarı gerekir.
- 402
Faturalandırma koşulu karşılanmadığı için istek devam edemiyor.
- 403
Hesabın bu işlemi gerçekleştirme izni yok.
- 429
İstek veya harcama sınırına ulaşıldı.
- 502
Hizmet isteği tamamlayamadı.
- 503
API veya faturalandırma hizmeti geçici olarak kullanılamıyor.
- 504
İstek işlenirken hizmet zaman aşımına uğradı.
- default
Hata yanıtı; upstream sağlayıcıdan doğrudan aktarılan yanıtlar sağlayıcı biçimlerini kullanabilir
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}