公式 Dify プラグイン: marketplace.dify.ai/plugins/langgenius/firecrawl
Dify チーム公式プラグイン • 17万回以上インストール • Chatflow・Agent アプリ対応 • 無料で利用可能
Dify 連携の概要#
Dify は、オープンソースの LLM アプリ開発プラットフォームです。公式 Firecrawl プラグインを使えば、AI ワークフロー内でウェブを直接クロール・スクレイピングできます。
Firecrawl ノードでデータ抽出用のビジュアルパイプラインを構築
AI エージェントが必要に応じてライブのウェブデータをスクレイピング
Dify の Firecrawl ツール#
プラグインには 7 つのアクションがあります。
検索
Web を検索し、必要に応じて検索結果をスクレイピングすることで、最新の結果メタデータやページ全体のコンテンツを 1 ステップで取得できます。
ユースケース: リサーチアシスタント、競合他社の発見、ライブソースに基づく回答の根拠付け。
スクレイピング
任意の URL をクリーンな構造化データに変換します。raw HTML を実用的なインサイトに変換します。
ユースケース: 商品データの抽出、記事コンテンツのスクレイピング、JSONモードによる構造化データの取得。
クロール
Web サイトとサブドメインを再帰的にクロールして、大量のコンテンツを収集します。
ユースケース: サイト全体のコンテンツ抽出、ドキュメントのスクレイピング、複数ページにわたるデータ収集。
マップ
Web サイト上のすべての URL を網羅したマップを生成します。
ユースケース: サイト構造の分析、SEO 監査、バッチスクレイピング用の URL の検出。
クロールジョブ
ジョブ ID を基にスクレイピング結果を取得したり、進行中のタスクをキャンセルしたりできます。
ユースケース: 長時間実行されるクロールの監視、非同期スクレイピングワークフローの管理、必要に応じたオペレーションのキャンセル。
モニターを作成
ターゲットを定期的に再チェックする、スケジュール設定済みのモニターを作成します。
ユースケース: 取り込んだデータを最新の状態に保つ、変更履歴の監視、競合他社の追跡。
モニターチェック
モニターの詳細とチェック結果を取得し、変更があったページにのみ対応できます。
ユースケース: ナレッジベースの差分アップデート、変更アラート、後続処理のトリガー。
はじめに#
Firecrawlプラグインをインストール
Dify Plugin Marketplaceにアクセスし、Firecrawlツールをインストールします
Firecrawl APIキーを取得
Firecrawl API Keysにアクセスし、新しいAPIキーを作成します
Difyで認可
Plugins > Firecrawl > To Authorizeに移動し、APIキーを入力します
ワークフローに追加
FirecrawlツールをChatflow、Workflow、またはAgentアプリケーションにドラッグ＆ドロップします
設定とテスト
パラメータを設定し、ワークフローをテストします
使用パターン#
ビジュアルパイプラインとの連携
- パイプラインにFirecrawlノードを追加
- アクションを選択 (マップ、クロール、スクレイピング)
- 入力変数を定義
- パイプラインを順番に実行
フロー例:
自動データ処理
以下を含む複数ステップのワークフローを構築します。
- 定期的なスクレイピング
- データ変換
- データベースへの保存
- 通知
フロー例:
AIによるWebアクセス
エージェントにリアルタイムのWebスクレイピング機能を持たせます。
- エージェントにFirecrawlツールを追加
- エージェントがスクレイピングのタイミングを自律的に判断
- LLMが抽出したコンテンツを分析
- エージェントが根拠に基づくレスポンスを提供
ユースケース: 最新のドキュメントを参照するカスタマーサポートエージェント
一般的なユースケース#
ライブの Web サイトコンテンツをスクレイピングして参照する RAG 搭載チャットボットを構築
複数のソースをスクレイピング・分析してトピックを調査するエージェント
競合他社の Web サイトを追跡し、変更時にアラートを送信する自動ワークフロー
Web サイトからデータを抽出し、構造化データベースに取り込んで拡充
Firecrawl アクション#
| ツール | 説明 | 最適な用途 |
|---|---|---|
| 検索 | 任意でページコンテンツを含められる Web 検索 | 最新のソースに基づく回答の生成 |
| スクレイピング | 単一ページからのデータ抽出 | コンテンツの迅速な取得 |
| クロール | 複数ページを再帰的にクロール | サイト全体のデータ抽出 |
| マップ | URL の検出とサイトマッピング | SEO 分析、URL リストの作成 |
| クロールジョブ | 非同期ジョブの管理 | 長時間実行されるオペレーション |
| モニターを作成 | ターゲットを定期的に再チェック | 取り込み済みデータを最新の状態に維持 |
| モニターチェック | Monitor の詳細とチェック結果 | 変更されたページにのみ対応 |
ベストプラクティス#
- スクレイピングのタイミングはエージェントに判断させる
- 自然言語で指示する
- LLMの設定でツール呼び出しを有効にする
- 大規模なスクレイピングではトークン使用量を監視する
- 大規模なサイトでは、クロールの前にマップを使用する
- 適切なクロール上限を設定する
- エラーハンドリング用のノードを追加する
- まずは小規模なデータセットでテストする
Dify と他プラットフォームの比較#
| 機能 | Dify | Make | Zapier | n8n |
|---|---|---|---|---|
| 種類 | LLMアプリプラットフォーム | ワークフロー自動化 | ワークフロー自動化 | ワークフロー自動化 |
| 最適な用途 | AIエージェントとチャットボット | ビジュアルワークフロー | 手軽な自動化 | 開発者による制御 |
| 料金体系 | オープンソース + Cloud | オペレーションベース | タスクごと | 実行回数ベース |
| AIネイティブ | はい | 一部対応 | 一部対応 | 一部対応 |
| セルフホスト | はい | いいえ | いいえ | はい |
プロのヒント: Difyは、エージェントに動的なWebアクセスが必要なAIネイティブアプリケーションの構築に優れています。リアルタイムデータを必要とするチャットボット、リサーチアシスタント、AIツールに最適です。
Web サイトを Dify のナレッジベースに同期#
Firecrawl では、ウェブページを Markdown にスクレイピングし、Dify Cloud から Dify のナレッジベースにインポートすることもできます。
Firecrawl の設定#
アバターメニューを開き、DataSource ページに移動して、Firecrawl の認証情報を設定します。
Firecrawl アカウントにログインして API キーを取得し、Dify に入力して保存します。
対象のウェブページをスクレイピングする#
ナレッジベース作成ページで「Sync from website」を選択し、プロバイダーとして Firecrawl を選び、スクレイピングするURLを入力します。
設定項目には、サブページをクロールするか、ページクロールの上限、スクレイピングの最大深さ、除外するパス、含めるパス、コンテンツ抽出範囲などがあります。設定が完了したら、Run をクリックして解析結果のページをプレビューします。
インポート結果を確認する#
インポートしたページのテキストは、ナレッジベースのドキュメントに保存されます。結果を確認し、「Add URL」をクリックしてさらにページをインポートします。
