Web Content
Web crawling, URL discovery and page extraction.
Tavily Crawl을 사용하는 그래프 기반 웹사이트 탐색 도구입니다.
루트 url에서 사이트를 탐색하고 발견한 페이지의 콘텐츠를 반환합니다. 자연어 instructions와 정규식 경로 및 도메인 필터로 방향을 지정하고, max_depth, max_breadth, limit으로 범위를 제한합니다. base_url과 url, raw_content가 포함된 results[]를 반환합니다. 문서, 카탈로그, 경쟁사 블로그 등 한 사이트를 폭넓게 다룰 때 사용하세요. 이 엔드포인트는 동기적으로 응답하며, post_firecrawl_crawl은 그렇지 않습니다. 후자는 백그라운드 작업으로 실행되며 기다리기에는 너무 큰 크롤링에 적합합니다.
가격 참고
- 과금 기준: 측정된 응답 단위.
- 참고 요청 추정치: USD 0.024.
- 단위 원가 기준: USD 0.008.
- 리소스 단위:
tavily_credit. - 참고 고객 배수: 1.0. 정산된 고객 금액에 다시 적용하지 마세요.
- 원가 기준은 0인 경우를 포함해 최종 고객 가격을 확정하지 않습니다.
참고용 메타데이터일 뿐이며, 계정 견적이나 보장된 가격 또는 지출 한도가 아닙니다. 리소스 크레딧은 Felo 크레딧이 아닙니다. 최종 청구는 Felo 청구 기록을 따릅니다.
- 유형: stringurl필수
크롤링을 시작할 루트 URL입니다.
- 유형: booleanallow
_external 최종 결과 목록에 외부 도메인 링크를 포함합니다.
- 유형: integerchunks
_per _source 최솟값:1최댓값:5소스당 반환되는 관련 청크의 최대 수입니다.
- 유형: array string[]exclude
_domains 크롤링에서 특정 도메인이나 하위 도메인을 제외할 정규식 패턴입니다.
- 유형: array string[]exclude
_paths 특정 경로 패턴이 있는 URL을 제외할 정규식 패턴입니다.
- 유형: string 열거형extract
_depth 추출 프로세스의 깊이입니다.
값- basic
- advanced
- 유형: string 열거형format
추출된 웹 페이지 콘텐츠의 형식입니다.
값- markdown
- text
- 유형: booleaninclude
_favicon 각 결과의 파비콘 URL을 포함합니다.
- 유형: booleaninclude
_images 크롤링 결과에 이미지를 포함합니다.
- 유형: booleaninclude
_usage 응답에 크레딧 사용 정보를 포함합니다.
- 유형: stringinstructions
크롤러를 위한 자연어 지시 사항입니다.
- 유형: integerlimit최솟값:1
크롤러가 중지되기 전에 처리할 총 링크 수입니다.
- 유형: integermax
_breadth 최솟값:1최댓값:500트리의 각 레벨에서 따라갈 최대 링크 수입니다.
- 유형: integermax
_depth 최솟값:1최댓값:5크롤링의 최대 깊이입니다.
- 유형: array string[]select
_domains 특정 도메인이나 하위 도메인으로 크롤링하도록 선택할 정규식 패턴입니다.
- 유형: array string[]select
_paths 특정 경로 패턴이 있는 URL만 선택할 정규식 패턴입니다.
- 유형: number 형식: floattimeout최솟값:10최댓값:150
크롤링 작업을 기다리는 최대 시간(초)입니다.
- 유형: object200
크롤링 결과가 성공적으로 반환되었습니다.
- 유형: stringbase
_url 크롤링된 기본 URL입니다.
- 유형: stringrequest
_id 고유 요청 식별자입니다.
- 유형: number 형식: floatresponse
_time 요청을 완료하는 데 걸린 시간(초)입니다.
- 유형: array object[]results
- favicon유형: string
크롤링된 페이지의 파비콘 URL입니다.
- raw유형: string
_content 페이지에서 추출된 원시 콘텐츠입니다.
- url유형: string
크롤링된 페이지의 URL입니다.
- 유형: objectusage
- credits유형: integer
요청의 크레딧 사용 세부 정보입니다.
application/json - 400
요청을 처리할 수 없습니다. 요청 매개변수를 확인하세요.
- 401
유효한 Felo API 키가 필요합니다.
- 402
청구 요건이 충족되지 않아 요청을 진행할 수 없습니다.
- 403
이 계정에는 이 작업을 수행할 권한이 없습니다.
- 429
요청 또는 지출 한도에 도달했습니다.
- 502
서비스가 요청을 완료할 수 없습니다.
- 503
API 또는 청구 서비스를 일시적으로 사용할 수 없습니다.
- 504
요청을 처리하는 동안 서비스 시간이 초과되었습니다.
- default
오류 응답. 업스트림 패스스루 응답은 공급자 형식을 사용할 수 있습니다.
application/json
curl https://openapi.felo.ai/v1/beta/tavily/crawl \
--request POST \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer YOUR_SECRET_TOKEN' \
--data '{
"url": "docs.tavily.com",
"instructions": "",
"chunks_per_source": 3,
"max_depth": 1,
"max_breadth": 20,
"limit": 50,
"select_paths": [
""
],
"select_domains": [
""
],
"exclude_paths": [
""
],
"exclude_domains": [
""
],
"allow_external": true,
"include_images": false,
"extract_depth": "basic",
"format": "markdown",
"include_favicon": false,
"timeout": 150,
"include_usage": false
}'
{
"base_url": "string",
"results": [
{
"url": "string",
"raw_content": "string",
"favicon": "string"
}
],
"response_time": 1,
"usage": {
"credits": 1
},
"request_id": "string"
}