概要 - Firecrawl Docs

クロール、バッチスクレイプ、抽出、エージェントジョブ、またはモニターチェックが開始、進行、完了した瞬間に通知を受け取れます。ステータスをポーリングする代わりに、HTTPS エンドポイントを指定すると、Firecrawl がそこにイベントをリアルタイムで配信します。

サポートされているオペレーション#

Operation	イベント
Crawl	`started`, `page`, `completed`
Batch Scrape	`started`, `page`, `completed`
Extract	`started`, `completed`, `failed`
Agent	`started`, `action`, `completed`, `failed`, `cancelled`
Monitor	`check.completed`

完全なペイロードの詳細と例については、Event Typesを参照してください。

設定#

リクエストに webhook オブジェクトを追加します:

JSON

{  "webhook": {    "url": "https://your-domain.com/webhook",    "metadata": {      "any_key": "any_value"    },    "events": ["started", "page", "completed", "failed"]  }}

フィールド	型	必須	説明
`url`	string	Yes	Webhook エンドポイントの URL (HTTPS)
`headers`	object	No	Webhook リクエストに含めるカスタムヘッダー
`metadata`	object	No	ペイロードに含めるカスタムデータ
`events`	array	No	受信するイベントタイプ (既定: すべて)

使い方#

Webhookでのクロール#

cURL

curl -X POST https://api.firecrawl.dev/v2/crawl \    -H 'Content-Type: application/json' \    -H 'Authorization: Bearer YOUR_API_KEY' \    -d '{      "url": "https://docs.firecrawl.dev",      "limit": 100,      "webhook": {        "url": "https://your-domain.com/webhook",        "metadata": {          "any_key": "any_value"        },        "events": ["started", "page", "completed"]      }    }'

Webhook を用いたバッチスクレイプ#

cURL

curl -X POST https://api.firecrawl.dev/v2/batch/scrape \    -H 'Content-Type: application/json' \    -H 'Authorization: Bearer YOUR_API_KEY' \    -d '{      "urls": [        "https://example.com/page1",        "https://example.com/page2",        "https://example.com/page3"      ],      "webhook": {        "url": "https://your-domain.com/webhook",        "metadata": {          "any_key": "any_value"        },        "events": ["started", "page", "completed"]      }    }'

タイムアウトとリトライ#

エンドポイントは 10秒以内 に 2xx ステータスで応答する必要があります。

配信に失敗した場合 (タイムアウト、非2xx、またはネットワークエラー) 、Firecrawl は自動的にリトライします:

リトライ回数	失敗後の遅延時間
1回目	1分
2回目	5分
3回目	15分

3回のリトライがすべて失敗すると、Webhook は失敗としてマークされ、それ以上のリトライは行われません。