Web Content
Web crawling, URL discovery and page extraction.
Tavily Crawl を使用したグラフベースのウェブサイト巡回ツール。
ルート url からサイトを巡回し、見つかったページの内容を返します。自然言語の instructions と正規表現によるパス・ドメインフィルターで誘導し、max_depth、max_breadth、limit で範囲を制限します。base_url と、url および raw_content を含む results[] を返します。1 つのサイトを広くカバーする用途（ドキュメント、カタログ、競合のブログなど）に適しています。同期的に応答する点が post_firecrawl_crawl と異なります。後者はバックグラウンドジョブとして実行され、待ち時間が許容できない大規模なクロールに向いています。
料金の参考情報
- 計測方法：レスポンスユニット単位で計測。
- 参考リクエスト見積もり：0.024 USD。
- ユニットコスト基準：USD 0.008。
- リソースユニット：
tavily_credit。 - 参照用の顧客乗数：1.0。確定済みの顧客金額には再適用しないでください。
- コスト基準は、ゼロの場合も含め、最終的な顧客価格を確定するものではありません。
参考情報のメタデータであり、アカウントへの見積もり、保証された価格、支出上限ではありません。リソースクレジットは Felo クレジットではありません。最終的な請求は Felo の請求記録に従います。
- 型: stringurl必須
クロールを開始するルート URL。
- 型: booleanallow
_external 最終結果リストに外部ドメインのリンクを含めます。
- 型: integerchunks
_per _source 最小値:1最大値:5ソースごとに返される関連チャンクの最大数。
- 型: array string[]exclude
_domains クロール時に特定のドメインやサブドメインを除外する正規表現パターン。
- 型: array string[]exclude
_paths 特定のパスパターンを持つ URL を除外する正規表現パターン。
- 型: string 列挙値extract
_depth 抽出プロセスの深度。
値- basic
- advanced
- 型: string 列挙値format
抽出されたウェブページコンテンツの形式。
値- markdown
- text
- 型: booleaninclude
_favicon 各結果のファビコン URL を含めます。
- 型: booleaninclude
_images クロール結果に画像を含めます。
- 型: booleaninclude
_usage レスポンスにクレジット使用量の情報を含めます。
- 型: stringinstructions
クローラー向けの自然言語による指示。
- 型: integerlimit最小値:1
クローラーが停止するまでに処理するリンクの総数。
- 型: integermax
_breadth 最小値:1最大値:500ツリーの各レベルでたどるリンクの最大数。
- 型: integermax
_depth 最小値:1最大値:5クロールの最大深度。
- 型: array string[]select
_domains クロールを特定のドメインやサブドメインに限定する正規表現パターン。
- 型: array string[]select
_paths 特定のパスパターンを持つ URL のみを選択する正規表現パターン。
- 型: number 形式: floattimeout最小値:10最大値:150
クロール操作の最大待機時間（秒）。
- 型: object200
クロール結果が正常に返されました。
- 型: stringbase
_url クロールされたベース URL。
- 型: stringrequest
_id 一意のリクエスト識別子。
- 型: number 形式: floatresponse
_time リクエストの完了にかかった時間（秒）。
- 型: array object[]results
- favicon型: string
クロールされたページのファビコン URL。
- raw型: string
_content ページから抽出された生のコンテンツ。
- url型: string
クロールされたページの URL。
- 型: objectusage
- credits型: integer
リクエストのクレジット使用量の詳細。
application/json - 400
リクエストを処理できませんでした。リクエストパラメータを確認してください。
- 401
有効な Felo API キーが必要です。
- 402
請求要件が満たされていないため、リクエストを続行できません。
- 403
このアカウントにはこの操作を行う権限がありません。
- 429
リクエストまたは支出の上限に達しました。
- 502
サービスがリクエストを完了できませんでした。
- 503
API または請求サービスが一時的に利用できません。
- 504
リクエストの処理中にサービスがタイムアウトしました。
- default
エラーレスポンス。上流のパススルーレスポンスはプロバイダーの形式を使用する場合があります
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}