SourceSync.ai - Firecrawl Docs

SourceSync.ai は、独自データを用いて AI アプリケーションを構築できる Retrieval Augmented Generation as a Service のプラットフォームです。本ガイドでは、ウェブスクレイピング機能において Firecrawl を SourceSync.ai と組み合わせて利用する方法を説明します。

セットアップ#

まず、Firecrawl ダッシュボードから Firecrawl の API キーを取得します。
SourceSync.ai のネームスペースで、Web スクレイピングのプロバイダーとして Firecrawl を使用するように設定します:

curl -X PATCH https://api.sourcesync.ai/v1/namespaces/YOUR_NAMESPACE_ID \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "webScraperConfig": {      "provider": "FIRECRAWL",      "apiKey": "YOUR_FIRECRAWL_API_KEY"    }  }'

使い方#

設定が完了したら、SourceSync.ai のウェブスクレイピング用エンドポイントを Firecrawl の機能と組み合わせて利用できます。主な取り込み方法は次のとおりです：

URLリストの取り込み#

特定のURLをスクレイピングする:

curl -X POST https://api.sourcesync.ai/v1/ingest/urls \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "URLS_LIST",      "config": {        "urls": [          "https://example.com/page1",          "https://example.com/page2"        ],        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

ウェブサイトのクロール#

カスタムルールでウェブサイト全体をクロールする:

curl -X POST https://api.sourcesync.ai/v1/ingest/website \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "WEBSITE",      "config": {        "url": "https://example.com",        "maxDepth": 3,        "maxLinks": 100,        "includePaths": ["/docs", "/blog"],        "excludePaths": ["/admin"],        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

サイトマップの処理#

サイトマップ内のすべてのURLを処理します。

curl -X POST https://api.sourcesync.ai/v1/ingest/sitemap \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "SITEMAP",      "config": {        "url": "https://example.com/sitemap.xml",        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

機能#

Firecrawl を SourceSync.ai と併用すると、次の機能を利用できます:

JavaScript レンダリング対応
自動レート制限
CSS セレクターによるコンテンツ抽出
深さを制御した再帰クロール
サイトマップ処理

リソース#

サポートが必要な場合:

メール: support@sourcesync.ai
Discord: コミュニティに参加