SourceSync.ai - Firecrawl Docs

SourceSync.ai est une plateforme de Retrieval Augmented Generation as a Service qui vous aide à créer des applications IA avec vos propres données. Ce guide explique comment utiliser Firecrawl avec SourceSync.ai pour le web scraping.

Configuration#

Commencez par récupérer votre clé API Firecrawl depuis votre tableau de bord Firecrawl.
Configurez votre espace de noms SourceSync.ai pour utiliser Firecrawl comme fournisseur de scraping web :

curl -X PATCH https://api.sourcesync.ai/v1/namespaces/YOUR_NAMESPACE_ID \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "webScraperConfig": {      "provider": "FIRECRAWL",      "apiKey": "YOUR_FIRECRAWL_API_KEY"    }  }'

Utilisation#

Une fois la configuration terminée, vous pouvez utiliser les points de terminaison de web scraping de SourceSync.ai avec les fonctionnalités de Firecrawl. Voici les principales méthodes d’ingestion :

Ingestion d’une liste d’URL#

Explorer des URL spécifiques :

curl -X POST https://api.sourcesync.ai/v1/ingest/urls \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "URLS_LIST",      "config": {        "urls": [          "https://example.com/page1",          "https://example.com/page2"        ],        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

Exploration de site web#

Explorez l’ensemble d’un site avec des règles personnalisées :

curl -X POST https://api.sourcesync.ai/v1/ingest/website \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "WEBSITE",      "config": {        "url": "https://example.com",        "maxDepth": 3,        "maxLinks": 100,        "includePaths": ["/docs", "/blog"],        "excludePaths": ["/admin"],        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

Traitement du sitemap#

Traitez toutes les URL d’un sitemap :

curl -X POST https://api.sourcesync.ai/v1/ingest/sitemap \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "SITEMAP",      "config": {        "url": "https://example.com/sitemap.xml",        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

Fonctionnalités#

Lorsque vous utilisez Firecrawl avec SourceSync.ai, vous avez accès à :

Prise en charge du rendu JavaScript
Limitation automatique du débit
Extraction de contenu via des sélecteurs CSS
Exploration récursive avec contrôle de la profondeur
Traitement des plans de site (sitemaps)

Ressources#

Pour obtenir une assistance supplémentaire :

E-mail : support@sourcesync.ai
Discord : Rejoindre notre communauté