Plugin oficial de Dify: marketplace.dify.ai/plugins/langgenius/firecrawl
Plugin oficial del equipo de Dify • Más de 170.000 instalaciones • Aplicaciones Chatflow y Agent • Gratis
Descripción general de la integración con Dify#
Dify es una plataforma de código abierto para desarrollar aplicaciones basadas en LLM. El plugin oficial de Firecrawl permite realizar rastreo y scraping web directamente en tus flujos de trabajo de IA.
Crea flujos visuales con nodos de Firecrawl para extraer datos
Permite que los agentes de IA hagan scraping de datos web en tiempo real bajo demanda
Herramientas de Firecrawl en Dify#
El plugin incluye siete acciones.
Búsqueda
Busca en la web y, opcionalmente, realiza scraping de los resultados obtenidos para recibir metadatos actualizados o el contenido completo de las páginas en un solo paso.
Casos de uso: Asistentes de investigación, descubrimiento de competidores, fundamentación de respuestas con fuentes en tiempo real.
Scraping
Convierte cualquier URL en datos limpios y estructurados. Transforma HTML sin procesar en información útil.
Casos de uso: Extraer datos de productos, realizar scraping de contenido de artículos, obtener datos estructurados con el modo JSON.
Rastreo
Realiza rastreos recursivos de sitios web y subdominios para recopilar grandes volúmenes de contenido.
Casos de uso: Extracción de contenido de sitios completos, scraping de documentación, recopilación de datos de varias páginas.
Mapeo
Genera un mapa completo de todas las URL de un sitio web.
Casos de uso: Análisis de la estructura del sitio, auditorías SEO, descubrimiento de URL para scraping por lotes.
Trabajo de rastreo
Recupera resultados de scraping mediante un ID de trabajo o cancela tareas en curso.
Casos de uso: Supervisar rastreos de larga duración, gestionar flujos de trabajo de scraping asíncronos, cancelar operaciones cuando sea necesario.
Crear monitor
Crea un monitor programado que vuelve a comprobar un objetivo de forma periódica.
Casos de uso: Mantener actualizados los datos ingeridos, supervisar registros de cambios, realizar seguimiento de la competencia.
Comprobaciones del monitor
Recupera los detalles de un monitor y los resultados de sus comprobaciones para actuar solo sobre las páginas que hayan cambiado.
Casos de uso: Actualizaciones incrementales de bases de conocimiento, alertas de cambios, desencadenadores para procesos posteriores.
Primeros pasos#
Instala el plugin de Firecrawl
Accede al marketplace de plugins de Dify e instala la herramienta Firecrawl
Obtén una clave de API de Firecrawl
Visita Claves de API de Firecrawl y crea una nueva clave de API
Autoriza en Dify
Ve a Plugins > Firecrawl > To Authorize e introduce tu clave de API
Añádelo a tu flujo de trabajo
Arrastra las herramientas de Firecrawl a tu aplicación de Chatflow, Workflow o Agent
Configura y prueba
Configura los parámetros y prueba tu flujo de trabajo
Patrones de uso#
Integración visual de pipelines
- Añade un nodo de Firecrawl a tu pipeline
- Selecciona la acción (mapeo, rastreo, scraping)
- Define las variables de entrada
- Ejecuta el pipeline de forma secuencial
Flujo de ejemplo:
Procesamiento automatizado de datos
Crea flujos de trabajo de varios pasos con:
- Scraping programado
- Transformación de datos
- Almacenamiento en bases de datos
- Notificaciones
Flujo de ejemplo:
Acceso web impulsado por IA
Proporciona a los agentes capacidades de scraping web en tiempo real:
- Añade la herramienta Firecrawl al agente
- El agente decide de forma autónoma cuándo hacer scraping
- El LLM analiza el contenido extraído
- El agente proporciona respuestas fundamentadas
Caso de uso: Agentes de atención al cliente que consultan documentación actualizada
Casos de uso habituales#
Crea chatbots con RAG que hacen scraping y consultan contenido actualizado de sitios web
Agentes que investigan temas mediante scraping y análisis de múltiples fuentes
Flujos de trabajo automatizados que rastrean sitios web de la competencia y alertan sobre cambios
Extrae y enriquece datos de sitios web en bases de datos estructuradas
Acciones de Firecrawl#
| Herramienta | Descripción | Ideal para |
|---|---|---|
| Búsqueda | Búsqueda web con contenido de página opcional | Fundamentar respuestas con fuentes actualizadas |
| Scraping | Extracción de datos de una sola página | Capturar contenido rápidamente |
| Rastreo | Rastreo recursivo de varias páginas | Extraer todo el sitio |
| Mapeo | Descubrimiento de URL y mapeo de sitios | Análisis SEO y listas de URL |
| Trabajo de rastreo | Gestión de trabajos asíncronos | Operaciones de larga duración |
| Crear monitor | Revisiones periódicas programadas de un objetivo | Mantener actualizados los datos ingeridos |
| Comprobaciones del monitor | Detalles del monitor y resultados de las comprobaciones | Actuar solo sobre páginas modificadas |
Buenas prácticas#
- Deja que los agentes decidan cuándo hacer scraping
- Usa instrucciones en lenguaje natural
- Habilita las llamadas a herramientas en la configuración del LLM
- Supervisa el uso de tokens en scrapes grandes
- Usa mapeo antes de rastreo en sitios grandes
- Establece límites de rastreo adecuados
- Agrega nodos de manejo de errores
- Primero, realiza pruebas con conjuntos de datos pequeños
Dify frente a otras plataformas#
| Funcionalidad | Dify | Make | Zapier | n8n |
|---|---|---|---|---|
| Tipo | Plataforma de aplicaciones con LLM | Automatización de flujos de trabajo | Automatización de flujos de trabajo | Automatización de flujos de trabajo |
| Ideal para | Agentes de IA y chatbots | Flujos de trabajo visuales | Automatizaciones rápidas | Control para desarrolladores |
| Precios | Código abierto + Cloud | Por operación | Por tarea | Por ejecución |
| Nativo de IA | Sí | Parcial | Parcial | Parcial |
| Autogestionado | Sí | No | No | Sí |
Consejo: Dify destaca en la creación de aplicaciones nativas de IA en las que los agentes necesitan acceso dinámico a la web. Es ideal para chatbots, asistentes de investigación y herramientas de IA que requieren datos en tiempo real.
Sincroniza sitios web con la base de conocimientos de Dify#
Firecrawl también puede extraer una página web a Markdown e importarla en la base de conocimientos de Dify desde Dify Cloud.
Configurar Firecrawl#
Abre el menú de tu avatar, ve a la página DataSource y configura las credenciales de Firecrawl.
Inicia sesión en tu cuenta de Firecrawl, obtén tu clave de API y luego introdúcela y guárdala en Dify.
Scraping de la página de destino#
En la página de creación de la base de conocimientos, selecciona Sync from website, elige Firecrawl como proveedor e introduce la URL para hacer scraping.
Las opciones de configuración incluyen: rastrear subpáginas o no, límite de rastreo de páginas, profundidad máxima de scraping, rutas excluidas, rutas incluidas únicamente y alcance de extracción de contenido. Después de configurar las opciones, haz clic en Run para previsualizar las páginas analizadas.
Revisa los resultados de la importación#
El texto de las páginas importadas se guarda en los documentos de la base de conocimientos. Revisa los resultados y haz clic en Add URL para importar más páginas.
