SourceSync.ai - Firecrawl Docs

SourceSync.ai é uma plataforma de Retrieval Augmented Generation como serviço (RAGaaS) que ajuda você a criar aplicações de IA com seus próprios dados. Este guia explica como usar o Firecrawl com o SourceSync.ai para recursos de raspagem da web.

Configuração#

Primeiro, obtenha sua chave de API do Firecrawl no dashboard do Firecrawl.
Configure seu namespace do SourceSync.ai para usar o Firecrawl como provedor de web scraping:

curl -X PATCH https://api.sourcesync.ai/v1/namespaces/YOUR_NAMESPACE_ID \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "webScraperConfig": {      "provider": "FIRECRAWL",      "apiKey": "YOUR_FIRECRAWL_API_KEY"    }  }'

Uso#

Depois de configurar, você pode usar os endpoints de web scraping do SourceSync.ai com os recursos do Firecrawl. Estes são os principais métodos de ingestão:

Ingestão de lista de URLs#

Raspe URLs específicas:

curl -X POST https://api.sourcesync.ai/v1/ingest/urls \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "URLS_LIST",      "config": {        "urls": [          "https://example.com/page1",          "https://example.com/page2"        ],        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

Rastreamento de site#

Rastreie um site inteiro com regras personalizadas:

curl -X POST https://api.sourcesync.ai/v1/ingest/website \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "WEBSITE",      "config": {        "url": "https://example.com",        "maxDepth": 3,        "maxLinks": 100,        "includePaths": ["/docs", "/blog"],        "excludePaths": ["/admin"],        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

Processamento de sitemap#

Processe todas as URLs de um sitemap:

curl -X POST https://api.sourcesync.ai/v1/ingest/sitemap \  -H "Authorization: Bearer YOUR_SOURCE_SYNC_API_KEY" \  -H "Content-Type: application/json" \  -d '{    "namespaceId": "YOUR_NAMESPACE_ID",    "ingestConfig": {      "source": "SITEMAP",      "config": {        "url": "https://example.com/sitemap.xml",        "scrapeOptions": {          "includeSelectors": ["article", "main"],          "excludeSelectors": [".navigation", ".footer"]        }      }    }  }'

Recursos#

Ao usar o Firecrawl com o SourceSync.ai, você tem acesso a:

Suporte à renderização de JavaScript
Limitação automática de taxa
Extração de conteúdo com seletores CSS
Rastreamento recursivo com controle de profundidade
Processamento de sitemaps

Recursos#

Para suporte adicional:

E-mail: support@sourcesync.ai
Discord: Participe da nossa comunidade