Skip to main content

Monitoreo

Programa comprobaciones periódicas, detecta cambios y recibe notificaciones por webhook o correo electrónico
9 min read

El monitoreo de Firecrawl ejecuta comprobaciones recurrentes y te notifica a ti o a tu agente cuando algo cambia o aparece. Usa /monitor para vigilar páginas conocidas, rastrear un sitio web de forma programada o ejecutar una búsqueda web siempre activa para encontrar nuevos resultados que coincidan con un objetivo.

Todos los tipos de monitores comparten el mismo flujo de trabajo: seleccionar uno o más objetivos, establecer una programación, añadir un objetivo opcional en lenguaje natural y recibir notificaciones por webhook, correo electrónico o Slack cuando algo sea relevante. Esta página cubre la configuración compartida. Para la configuración y los ejemplos específicos de cada objetivo, ve a la página de monitoreo de Página, Sitio web o Toda la web a escala.

Recompensa: 5000 créditos por comentarios sobre fuentes gubernamentales y jurídicas

Para optar a la recompensa, completa una entrevista sustanciosa (casos de uso concretos y bien planteados, etc.) con nuestro Asistente de comentarios de Firecrawl. Solo lleva unos minutos, puedes detenerla en cualquier momento y es apta tanto para personas como para agentes (¡solo pega el enlace en tu entorno de agentes!). Resulta especialmente útil si buscas o haces scraping en sitios gubernamentales, judiciales, regulatorios o de registros públicos y conoces sus particularidades de primera mano.

Iniciar la entrevista

Incluye tu correo electrónico para poder optar a la recompensa. La calidad de las entrevistas se revisa al final de cada semana.

Cada comprobación registra resultados por página como same, new, changed, removed o error. Puedes recibir un webhook cuando termine cada página monitoreada, un webhook por cada comprobación completada, resúmenes por correo electrónico cuando haya cambios o errores, notificaciones de Slack en un canal, o cualquier combinación de estas notificaciones.

Objetivos#

Cada monitor tiene uno o más objetivos. El tipo de objetivo determina qué hace cada comprobación:

ObjetivoQué supervisaConfiguración
scrapeURL conocidas que indicasMonitoreo de páginas
crawlCada página descubierta por un rastreoMonitoreo de sitios web
searchNuevos resultados en toda la webMonitoreo de toda la web a escala

Cada monitor acepta entre 1 y 50 objetivos, y puedes mezclar tipos de objetivo en un solo monitor. retentionDays es 30 de forma predeterminada y puede configurarse hasta 365.

Cada llamada de creación devuelve el nuevo monitor con su cron normalizado, nextRunAt calculado y estimatedCreditsPerMonth. Cuando la evaluación está habilitada, estimatedCreditsPerMonth es una estimación de cota superior porque los créditos de evaluación solo se cobran por las páginas modificadas que realmente se evalúan:

Response

Objetivos y evaluación#

Añade un goal en lenguaje claro cuando solo quieras recibir alertas por cambios significativos. Si goal está presente y se omite judgeEnabled, Firecrawl habilita la evaluación automáticamente. La evaluación se ejecuta en las páginas que han cambiado y devuelve un judgment con meaningful, confidence, reason y meaningfulChanges.

La forma en que se aplica el objetivo depende del objetivo: los monitores de página y sitio web evalúan las páginas modificadas, mientras que los monitores de toda la web a escala evalúan cada nuevo resultado de búsqueda.

Usa judgeEnabled: false si quieres guardar un objetivo sin evaluar todavía los cambios. El evaluador solo se ejecuta cuando el monitor tiene tanto judgeEnabled como un goal no vacío.

Note

Se requiere un goal para los objetivos search (supervisión de toda la web a escala) a menos que establezcas judgeEnabled: false. Es opcional para los objetivos scrape y crawl.

Note

Cada comprobación siempre consume créditos por las operaciones subyacentes de scraping o rastreo. Si la evaluación está habilitada, el evaluador añade 1 crédito por cada página modificada que valida. Las comprobaciones sin páginas modificadas no usan créditos del evaluador.

Los buenos objetivos son breves y explícitos: indica qué debe activar una alerta, especifica de nuevo cualquier criterio de alcance, como top N, precio, tipo de puesto, empresa, región, tema, estado o entidad, e incluye exclusiones solo cuando formen parte de la intención. Si el objetivo es amplio, mantenlo amplio; por ejemplo, "cualquier cambio" no debería añadir filtros de ruido que oculten cambios.

Por ejemplo, un monitor con este objetivo:

podría generar un webhook monitor.page como este cuando una historia coincidente pase a estar dentro del alcance:

monitor.page

Programaciones#

Las programaciones pueden proporcionarse en formato cron o como texto simple en lenguaje natural.

Ejemplos compatibles de lenguaje natural:

  • every 30 minutes
  • every 15 minutes starting at :07
  • hourly
  • every 2 hours
  • daily
  • daily at 9:00
  • daily at 9am
  • daily at 5:30 PM
  • weekly

El intervalo mínimo es de 5 minutos. Las respuestas de la API siempre devuelven la expresión cron normalizada. En las programaciones de texto, timezone controla cuándo se ejecutan frases como daily at 9am. Las programaciones en texto se distribuyen según el ID del monitor antes de convertirse a cron, para que varios monitores no se ejecuten todos en el mismo instante.

Seguimiento de cambios#

Los monitores de Página y sitio web comparan el markdown de cada página de forma predeterminada e informan same, changed, new, removed o error. Si quieres detectar cambios en campos estructurados específicos (precio, encabezado, indicador de disponibilidad, elementos de una lista, etc.), habilita el seguimiento de cambios en modo JSON añadiendo un formato changeTracking con modes: ["json"] a scrapeOptions del objetivo.

Note

El seguimiento de cambios se aplica a los objetivos scrape y crawl. Los monitores de escala web completos (search) generan alertas sobre resultados nuevos en lugar de comparar páginas conocidas. Consulta Statuses and dedup.

Modo Markdown (predeterminado)#

Cuando scrapeOptions.formats es solo ["markdown"], cada página con cambios en la respuesta de check incluye un diff de texto unificado y un AST al estilo de parseDiff:

Markdown-mode diff

Modo JSON#

Pasa un formato changeTracking con modes: ["json"] junto con un esquema JSON (o un prompt) que describa los campos que te interesan. Firecrawl extrae ese JSON en cada comprobación y genera un diff por campo con claves basadas en la ruta del campo, además de un snapshot.json con la extracción actual completa para que los consumidores no tengan que volver a obtener el scraping original.

La carga útil del diff usa rutas JSON dentro de la extracción como claves. Cada valor es un par {previous, current}:

JSON-mode diff
Note

Aunque no cambie ningún campo supervisado, si el markdown circundante sí cambia, los monitores en modo JSON seguirán devolviendo same a menos que también habilites git-diff (consulta el modo mixto más abajo). El diff se centra exclusivamente en los campos de tu esquema.

Modo mixto (JSON + git-diff)#

Si quieres tanto el diff estructurado por campo como el diff unificado sin procesar en markdown, indica ambos modos:

Mixed target (JSON + git-diff)

La respuesta de comprobación contiene entonces tanto diff.text (sidecar de markdown) como diff.json (diff por campo), junto con la extracción snapshot.json:

Mixed-mode diff (JSON + git-diff)

Una página en modo mixto informa changed siempre que cualquiera de las dos representaciones haya cambiado.

Notificaciones#

Webhooks#

Cuando un monitor tiene un webhook, Firecrawl puede enviar dos eventos del monitor:

  • monitor.page: Se envía a medida que finaliza cada scraping supervisado en el worker de scraping.
  • monitor.check.completed: Se envía después de que se consolida la comprobación completa. Incluye el estado de la comprobación y los recuentos de resumen. Usa los eventos monitor.page o la API de comprobación del monitor para obtener resultados a nivel de página.

monitor.page incluye isMeaningful y judgment cuando se ejecuta la evaluación de cambios significativos en una página modificada.

Webhook config

Carga útil de monitor.page:

monitor.page

Carga útil de monitor.check.completed:

monitor.check.completed

success es true cuando la comprobación se completa sin errores de página. Es false en comprobaciones fallidas o parciales, y error contiene el motivo del fallo cuando está disponible.

Correo electrónico#

Los resúmenes por correo electrónico se envían solo cuando una comprobación tiene páginas modificadas, nuevas, eliminadas o con errores.

Email config

Cuando un monitor tiene un objetivo y la evaluación está habilitada, los resúmenes por correo electrónico priorizan las páginas modificadas relevantes. Si todas las páginas modificadas se consideran ruido y no hay páginas nuevas, eliminadas o con errores, el correo electrónico no se envía.

Si se omite recipients, Firecrawl envía correos a los miembros del equipo que pueden recibir correos electrónicos de alerta del sistema. Puedes configurar hasta 25 destinatarios explícitos.

Proceso de confirmación del destinatario#

Cuando se añade un nuevo destinatario a un monitor, Firecrawl le envía un correo electrónico con un enlace de confirmación. Así se garantiza que acepta explícitamente recibir notificaciones de ese monitor. Si el destinatario ya es miembro del equipo, no hace falta confirmación.

Slack#

También puedes hacer que las notificaciones del monitor se envíen a un canal de Slack.

Note

Las notificaciones de Slack solo están disponibles en el dashboard. Solo se pueden configurar desde el dashboard de monitoreo, no a través de la API ni de los SDKs.

Para configurar las notificaciones de Slack:

  1. Abre el dashboard de monitoreo. Puedes añadir notificaciones de Slack mientras creas un monitor nuevo o añadirlas a un monitor que ya existe.
  2. Durante la creación del monitor, o una vez que hayas seleccionado uno existente, desplázate hasta Notificación y selecciona Slack.
  3. Se te pedirá que continúes con OAuth. Completa el flujo y selecciona el espacio de trabajo y el canal donde quieres recibir las notificaciones.

Resultados de comprobaciones#

Usa GET /v2/monitor/{monitorId}/checks para listar comprobaciones y GET /v2/monitor/{monitorId}/checks/{checkId} para inspeccionar una comprobación. Los SDKs aplican paginación automática de forma predeterminada.

La lista de comprobaciones se puede filtrar por el status de la comprobación: queued, running, completed, failed, partial o skipped_overlap.

La respuesta de detalle de la comprobación incluye estimatedCredits, actualCredits, conteos resumidos y un array paginado de pages. estimatedCredits es la reserva máxima para la comprobación; actualCredits es el importe final cobrado una vez que Firecrawl sabe cuántas páginas cambiaron y requirieron evaluación. Usa la URL next de nivel superior para obtener la siguiente página de resultados, igual que en la paginación del rastreo. Puedes filtrar páginas por status: same, new, changed, removed o error. Cada página modificada incluye datos diff integrados; las páginas de monitores en modo JSON también incluyen un snapshot con la extracción actual.

Markdown-mode response

Precios#

Los monitores no tienen una tarifa adicional por monitor. Cada comprobación consume los créditos del scraping, rastreo o búsqueda subyacentes que realiza, más un crédito opcional por cada página modificada cuando está habilitada la evaluación de cambios significativos.

ComponenteCréditos
Monitor de scraping1 crédito por URL por comprobación
Monitor de rastreo1 crédito por página descubierta por comprobación
Monitor web2 créditos por cada 10 resultados por comprobación
Evaluación del monitor web1 crédito por resultado evaluado, cuando la evaluación con IA está habilitada (cubre el scraping y la evaluación del resultado)
Evaluación de cambios significativos habilitada1 crédito adicional por cada página modificada que valide el evaluador
Complementos de formato (JSON, PDF, question, enhanced mode, etc.)Igual que el scraping independiente

Referencia de la API#