Alat penelusuran situs web berbasis graf menggunakan Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Alat penelusuran situs web berbasis graf menggunakan Tavily Crawl.
Jelajahi situs web dari url akar dan kembalikan konten halaman yang ditemukan. Arahkan dengan instructions berbahasa alami plus filter jalur dan domain regex, serta batasi dengan max_depth, max_breadth, dan limit. Mengembalikan base_url dan results[] dengan url dan raw_content. Gunakan untuk cakupan luas satu situs — dokumentasi, katalog, blog pesaing. Endpoint ini menjawab secara sinkron, berbeda dengan post_firecrawl_crawl: endpoint tersebut berjalan sebagai tugas latar belakang dan cocok untuk crawl yang terlalu besar untuk ditunggu.
Referensi harga
- Metering: Unit respons terukur.
- Estimasi referensi per permintaan: USD 0.024.
- Dasar biaya unit: USD 0.008.
- Unit sumber daya:
tavily_credit. - Pengali pelanggan referensi: 1.0. Jangan terapkan lagi pada jumlah pelanggan yang telah diselesaikan.
- Dasar biaya tidak menentukan harga pelanggan akhir, termasuk saat bernilai nol.
Hanya metadata referensi, bukan penawaran akun, harga yang dijamin, atau batas pengeluaran. Kredit sumber daya bukanlah kredit Felo. Biaya akhir mengikuti catatan tagihan Felo.
- Tipe: stringurlwajib
URL root untuk memulai perayapan.
- Tipe: booleanallow
_external Sertakan tautan domain eksternal dalam daftar hasil akhir.
- Tipe: integerchunks
_per _source min:1maks:5Jumlah maksimum potongan relevan yang dikembalikan per sumber.
- Tipe: array string[]exclude
_domains Pola regex untuk mengecualikan domain atau subdomain tertentu dari perayapan.
- Tipe: array string[]exclude
_paths Pola regex untuk mengecualikan URL dengan pola jalur tertentu.
- Tipe: string enumextract
_depth Kedalaman proses ekstraksi.
nilai- basic
- advanced
- Tipe: string enumformat
Format konten halaman web yang diekstrak.
nilai- markdown
- text
- Tipe: booleaninclude
_favicon Sertakan URL favicon untuk setiap hasil.
- Tipe: booleaninclude
_images Sertakan gambar dalam hasil perayapan.
- Tipe: booleaninclude
_usage Sertakan informasi penggunaan kredit dalam respons.
- Tipe: stringinstructions
Instruksi bahasa alami untuk perayap.
- Tipe: integerlimitmin:1
Total tautan yang akan diproses perayap sebelum berhenti.
- Tipe: integermax
_breadth min:1maks:500Jumlah maksimum tautan untuk diikuti per tingkat pohon.
- Tipe: integermax
_depth min:1maks:5Kedalaman maksimum perayapan.
- Tipe: array string[]select
_domains Pola regex untuk memilih perayapan ke domain atau subdomain tertentu.
- Tipe: array string[]select
_paths Pola regex untuk hanya memilih URL dengan pola jalur tertentu.
- Tipe: number Format: floattimeoutmin:10maks:150
Waktu maksimum dalam detik untuk menunggu operasi perayapan.
- Tipe: object200
Hasil crawl berhasil dikembalikan.
- Tipe: stringbase
_url URL dasar yang dirayapi.
- Tipe: stringrequest
_id Pengenal permintaan unik.
- Tipe: number Format: floatresponse
_time Waktu dalam detik yang dibutuhkan untuk menyelesaikan permintaan.
- Tipe: array object[]results
- faviconTipe: string
URL favicon halaman yang dirayapi.
- rawTipe: string
_content Konten mentah yang diekstrak dari halaman.
- urlTipe: string
URL halaman yang dirayapi.
- Tipe: objectusage
- creditsTipe: integer
Detail penggunaan kredit untuk permintaan.
application/json - 400
Permintaan tidak dapat diproses. Periksa parameter permintaan.
- 401
Kunci API Felo yang valid diperlukan.
- 402
Permintaan tidak dapat dilanjutkan karena persyaratan penagihan belum terpenuhi.
- 403
Akun tidak diizinkan melakukan operasi ini.
- 429
Batas permintaan atau batas pengeluaran telah tercapai.
- 502
Layanan tidak dapat menyelesaikan permintaan.
- 503
API atau layanan penagihan untuk sementara tidak tersedia.
- 504
Layanan kehabisan waktu saat memproses permintaan.
- default
Respons error; respons passthrough upstream dapat menggunakan format penyedia
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}