Monitoramento de site

O monitoramento de site acompanha um site inteiro em vez de uma lista fixa de URLs. Cada verificação executa um rastreamento para a url de alvo, faz scraping de cada página descoberta e compara o resultado com o último snapshot armazenado. Isso detecta páginas adicionadas, alteradas e removidas, não apenas edições em páginas que você já definiu. É a escolha certa para sites de documentação, blogs, changelogs, centrais de ajuda e sites de concorrentes.

Esta página aborda o alvo crawl. Agendamento, objetivos e avaliação, acompanhamento de alterações, notificações e preços são compartilhados entre todos os tipos de monitor. Veja a visão geral do monitoramento.

Crie um monitor com um alvo crawl para gerar um diff de cada página descoberta por um rastreamento a cada verificação:

Um alvo crawl requer type e uma única url. Use crawlOptions para definir o comportamento do rastreamento e scrapeOptions para definir como cada página descoberta é extraída:

{  "type": "crawl",  "url": "https://example.com/docs",  "crawlOptions": {    "limit": 100,    "includePaths": ["/docs"]  },  "scrapeOptions": {    "formats": ["markdown"]  }}

Campos comuns de crawlOptions:

• limit: Número máximo de páginas que uma verificação pode rastrear.
• maxDiscoveryDepth: Quantos níveis de links, a partir da url inicial, devem ser explorados para descobrir páginas.
• maxDepth: Profundidade máxima de rastreamento.
• includePaths: Monitore apenas URLs que correspondam a estes padrões de caminho (por exemplo, /docs).
• excludePaths: Ignore URLs que correspondam a estes padrões de caminho.

Assim como nos monitores de página, os scrapes acionados pelo monitor usam maxAge como 0 por padrão, então cada verificação refaz o scraping das páginas descobertas, a menos que você defina um maxAge diferente em scrapeOptions.

Uma verificação de rastreamento compara cada página descoberta com a verificação anterior e registra um status por página:

• same: A página foi descoberta novamente e não mudou.
• changed: A página foi descoberta novamente e mudou.
• new: A página foi descoberta pela primeira vez.
• removed: Uma página da verificação anterior não foi mais descoberta.
• error: Não foi possível verificar a página.

Para emitir alertas sobre campos estruturados específicos nas páginas rastreadas, adicione um formato changeTracking a scrapeOptions. Veja Rastreamento de mudanças.

• Agendamentos: cron ou cadência em linguagem natural, com mínimo de 5 minutos.
• Objetivos e avaliação: alertas apenas para mudanças significativas.
• Notificações: envio por webhook e email.
• Resultados das verificações: inspecione cada verificação e seus diffs por página.
• Preços: 1 crédito por página descoberta em cada verificação, além da avaliação opcional.