Alat penyusuran laman web berasaskan graf menggunakan Tavily Crawl.
Web Content
Web crawling, URL discovery and page extraction.
Alat penyusuran laman web berasaskan graf menggunakan Tavily Crawl.
Jelajahi laman web daripada url akar dan pulangkan kandungan halaman yang ditemui. Pandu dengan instructions bahasa semula jadi serta penapis laluan dan domain regex, dan hadkan dengan max_depth, max_breadth dan limit. Memulangkan base_url dan results[] dengan url dan raw_content. Gunakan untuk liputan luas satu laman — dokumentasi, katalog, blog pesaing. Endpoint ini menjawab secara segerak, berbeza dengan post_firecrawl_crawl: endpoint itu berjalan sebagai tugas latar belakang dan sesuai untuk crawl yang terlalu besar untuk ditunggu.
Rujukan harga
- Pemeteran: Unit respons dimeterkan.
- Anggaran rujukan setiap permintaan: USD 0.024.
- Asas kos unit: USD 0.008.
- Unit sumber:
tavily_credit. - Pengganda pelanggan rujukan: 1.0. Jangan gunakan semula pada amaun pelanggan yang telah diselesaikan.
- Asas kos tidak menentukan harga pelanggan akhir, termasuk apabila sifar.
Metadata rujukan sahaja, bukan sebut harga akaun, harga terjamin atau had perbelanjaan. Kredit sumber bukan kredit Felo. Caj akhir mengikut rekod pengebilan Felo.
- Jenis: stringurlwajib
URL akar untuk memulakan perayauan.
- Jenis: booleanallow
_external Sertakan pautan domain luaran dalam senarai hasil akhir.
- Jenis: integerchunks
_per _source min:1maks:5Bilangan maksimum ketulan relevan yang dipulangkan setiap sumber.
- Jenis: array string[]exclude
_domains Corak regex untuk mengecualikan domain atau subdomain tertentu daripada perayauan.
- Jenis: array string[]exclude
_paths Corak regex untuk mengecualikan URL dengan corak laluan tertentu.
- Jenis: string enumextract
_depth Kedalaman proses pengekstrakan.
nilai- basic
- advanced
- Jenis: string enumformat
Format kandungan halaman web yang diekstrak.
nilai- markdown
- text
- Jenis: booleaninclude
_favicon Sertakan URL favicon untuk setiap hasil.
- Jenis: booleaninclude
_images Sertakan imej dalam hasil perayauan.
- Jenis: booleaninclude
_usage Sertakan maklumat penggunaan kredit dalam respons.
- Jenis: stringinstructions
Arahan bahasa semula jadi untuk perayau.
- Jenis: integerlimitmin:1
Jumlah pautan yang akan diproses oleh perayau sebelum berhenti.
- Jenis: integermax
_breadth min:1maks:500Bilangan maksimum pautan untuk diikuti setiap peringkat pokok.
- Jenis: integermax
_depth min:1maks:5Kedalaman maksimum perayauan.
- Jenis: array string[]select
_domains Corak regex untuk memilih perayauan ke domain atau subdomain tertentu.
- Jenis: array string[]select
_paths Corak regex untuk hanya memilih URL dengan corak laluan tertentu.
- Jenis: number Format: floattimeoutmin:10maks:150
Masa maksimum dalam saat untuk menunggu operasi perayauan.
- Jenis: object200
Hasil crawl berjaya dikembalikan.
- Jenis: stringbase
_url URL asas yang dirayau.
- Jenis: stringrequest
_id Pengecam permintaan unik.
- Jenis: number Format: floatresponse
_time Masa dalam saat yang diambil untuk menyelesaikan permintaan.
- Jenis: array object[]results
- faviconJenis: string
URL favicon halaman yang dirayau.
- rawJenis: string
_content Kandungan mentah yang diekstrak daripada halaman.
- urlJenis: string
URL halaman yang dirayau.
- Jenis: objectusage
- creditsJenis: integer
Butiran penggunaan kredit untuk permintaan.
application/json - 400
Permintaan tidak dapat diproses. Semak parameter permintaan.
- 401
Kunci API Felo yang sah diperlukan.
- 402
Permintaan tidak dapat diteruskan kerana keperluan pengebilan tidak dipenuhi.
- 403
Akaun tidak dibenarkan melakukan operasi ini.
- 429
Had permintaan atau had perbelanjaan telah dicapai.
- 502
Perkhidmatan tidak dapat menyelesaikan permintaan.
- 503
API atau perkhidmatan pengebilan tidak tersedia buat sementara waktu.
- 504
Perkhidmatan tamat masa semasa memproses permintaan.
- default
Respons ralat; respons passthrough huluan mungkin menggunakan format penyedia
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}