Plugin oficial do Dify: marketplace.dify.ai/plugins/langgenius/firecrawl
Plugin oficial da equipe do Dify • Mais de 170.000 instalações • Apps de Chatflow e Agent • Uso gratuito
Visão geral da integração com o Dify#
O Dify é uma plataforma open source para desenvolvimento de aplicativos com LLMs. O plugin oficial do Firecrawl permite realizar crawling e scraping da web diretamente nos seus fluxos de trabalho de IA.
Crie pipelines visuais com nós do Firecrawl para extração de dados
Permita que agentes de IA façam scraping de dados da web em tempo real sob demanda
Ferramentas do Firecrawl no Dify#
O plugin oferece sete ações.
Busca
Faça uma busca na web e, opcionalmente, faça scraping dos resultados retornados para obter metadados atualizados ou o conteúdo completo da página em uma única etapa.
Casos de uso: Assistentes de pesquisa, descoberta de concorrentes, embasamento de respostas em fontes em tempo real.
Scraping
Converta qualquer URL em dados limpos e estruturados. Transforme HTML bruto em insights acionáveis.
Casos de uso: Extração de dados de produtos, scraping de conteúdo de artigos, obtenção de dados estruturados com o modo JSON.
Rastreamento
Execute rastreamentos recursivos de sites e subdomínios para coletar uma grande quantidade de conteúdo.
Casos de uso: Extração de conteúdo completo do site, scraping de documentação, coleta de dados de várias páginas.
Map
Gere um mapa completo de todas as URLs presentes em um site.
Casos de uso: Análise da estrutura do site, auditoria de SEO, descoberta de URLs para scraping em lote.
Job de rastreamento
Recupere resultados de scraping com base em um ID do job ou cancele tarefas em andamento.
Casos de uso: Monitoramento de rastreamentos de longa duração, gerenciamento de fluxos de trabalho de scraping assíncronos, cancelamento de operações quando necessário.
Criar monitor
Crie um monitor agendado que verifica novamente um alvo em intervalos regulares.
Casos de uso: Manter os dados ingeridos atualizados, acompanhamento de changelogs, acompanhamento de concorrentes.
Verificações do monitor
Recupere os detalhes de um monitor e os resultados de suas verificações para agir apenas nas páginas que foram alteradas.
Casos de uso: Atualizações incrementais da base de conhecimento, alertas de alterações, gatilhos subsequentes.
Primeiros passos#
Instale o plugin do Firecrawl
Acesse o Marketplace de Plugins do Dify e instale a ferramenta Firecrawl
Obtenha uma chave de API do Firecrawl
Acesse Chaves de API do Firecrawl e crie uma nova chave de API
Autorize no Dify
Navegue até Plugins > Firecrawl > To Authorize e insira sua chave de API
Adicione ao seu fluxo de trabalho
Arraste as ferramentas do Firecrawl para seu aplicativo de Chatflow, Workflow ou Agent
Configure e teste
Defina os parâmetros e teste seu fluxo de trabalho
Padrões de uso#
Integração visual de pipeline
- Adicione o nó Firecrawl ao pipeline
- Selecione a ação (Map, rastreamento, Scrape)
- Defina as variáveis de entrada
- Execute o pipeline sequencialmente
Exemplo de fluxo:
Processamento automatizado de dados
Crie fluxos de trabalho de várias etapas com:
- scraping agendado
- transformação de dados
- armazenamento em banco de dados
- notificações
Exemplo de fluxo:
Acesso à web com IA
Ofereça aos agentes recursos de scraping da web em tempo real:
- Adicione a ferramenta Firecrawl ao agente
- O agente decide autonomamente quando realizar o scraping
- O LLM analisa o conteúdo extraído
- O agente fornece respostas embasadas
Caso de uso: Agentes de suporte ao cliente que consultam documentação atualizada
Casos de uso comuns#
Crie chatbots com RAG que fazem scraping e usam conteúdo atualizado de sites como referência
Agentes que pesquisam tópicos por meio de scraping e análise de várias fontes
Fluxos de trabalho automatizados que acompanham sites de concorrentes e alertam sobre mudanças
Extraia e enriqueça dados de sites em bancos de dados estruturados
Ações do Firecrawl#
| Ferramenta | Descrição | Ideal para |
|---|---|---|
| Busca | Busca na web com conteúdo de página opcional | Fundamentar respostas em fontes atualizadas |
| Scraping | Extração de dados de uma única página | Captura rápida de conteúdo |
| Rastreamento | Rastreamento recursivo de várias páginas | Extração completa do site |
| Map | Descoberta de URLs e mapeamento do site | Análise de SEO, listas de URLs |
| Job de Rastreamento | Gerenciamento assíncrono de jobs | Operações de longa duração |
| Criar Monitor | Novas verificações agendadas de um alvo | Manter os dados ingeridos atualizados |
| Verificações do Monitor | Detalhes do monitor e resultados das verificações | Agir apenas nas páginas alteradas |
Boas práticas#
- Deixe os agentes decidirem quando fazer scraping
- Use instruções em linguagem natural
- Habilite a chamada de ferramentas nas configurações do LLM
- Monitore o uso de tokens em operações de scraping grandes
- Use Map antes de rastreamento em sites grandes
- Defina limites de rastreamento adequados
- Adicione nós para tratamento de erros
- Primeiro, teste com conjuntos de dados pequenos
Dify vs. outras plataformas#
| Recurso | Dify | Make | Zapier | n8n |
|---|---|---|---|---|
| Tipo | Plataforma de aplicações com LLM | Automação de fluxos de trabalho | Automação de fluxos de trabalho | Automação de fluxos de trabalho |
| Ideal para | Agentes de IA e chatbots | Fluxos de trabalho visuais | Automação rápida | Controle para desenvolvedores |
| Preços | Código aberto + Cloud | Por operação | Por tarefa | Por execução |
| Nativo em IA | Sim | Parcialmente | Parcialmente | Parcialmente |
| Auto-hospedado | Sim | Não | Não | Sim |
Dica: O Dify se destaca na criação de aplicações nativas em IA em que os agentes precisam de acesso dinâmico à web. Ideal para chatbots, assistentes de pesquisa e ferramentas de IA que precisam de dados em tempo real.
Sincronize sites na base de conhecimento do Dify#
O Firecrawl também pode fazer scraping de uma página da web para Markdown e importá-la para a base de conhecimento do Dify pelo Dify Cloud.
Configurando o Firecrawl#
Abra o menu do seu avatar, acesse a página DataSource e configure as credenciais do Firecrawl.
Faça login na sua conta do Firecrawl, obtenha sua chave de API e, em seguida, insira-a e salve-a no Dify.
Scraping da página de destino#
Na página de criação da base de conhecimento, selecione Sync from website, escolha Firecrawl como provedor e insira a URL para scraping.
As opções de configuração incluem: rastrear subpáginas ou não, limite de páginas a rastrear, profundidade máxima de scraping, caminhos excluídos, incluir apenas determinados caminhos e escopo de extração de conteúdo. Após concluir a configuração, clique em Run para visualizar a prévia das páginas processadas.
Revisar resultados da importação#
O texto da página importada é armazenado nos documentos da base de conhecimento. Veja os resultados e clique em Add URL para importar mais páginas.
