Dify

进行网页搜索，并可选择抓取返回的结果，一步获取最新的结果元数据或完整页面内容。

使用场景： 研究助手、发现竞争对手、基于实时来源为答案提供依据。

将任意 URL 转换为干净的结构化数据，将原始 HTML 转化为可直接使用的洞察。

使用场景： 提取产品数据、抓取文章内容、通过 JSON 模式获取结构化数据。

递归爬取网站及其子域名，收集大量内容。

使用场景： 全站内容提取、文档抓取、多页面数据收集。

生成网站中所有 URL 的完整映射。

使用场景： 网站结构分析、SEO 审核、为批量抓取发现 URL。

根据任务 ID 获取抓取结果，或取消正在执行的任务。

使用场景： 监控长时间运行的爬取任务、管理异步抓取工作流、按需取消操作。

创建定时监控，按固定周期重新检查目标。

使用场景： 保持已采集数据的时效性、监控变更日志、跟踪竞争对手。

获取监控详情及检查结果，仅对发生变化的页面采取操作。

使用场景： 增量更新知识库、变更告警、触发下游流程。