在 Langflow 工作流中同步网页数据#
Firecrawl 可在 Langflow（AI 工作流构建器） 中使用。本文介绍如何在 Langflow 中配置并使用 Firecrawl 组件。
使用 Firecrawl 封禁进行抓取#
- 登录你的 Firecrawl 账户获取 API Key，然后在封禁中填写，或从工作流的其他环节传入。
- (可选) 连接 Text Splitter。
- 选择抓取模式以采集单个页面。
- 输入要抓取的目标 URL，或从工作流的其他环节传入。
- 根据目标网站和所需数据设置抓取选项，例如输出 formats 以及是否仅返回主要内容。你也可以从工作流的其他环节传入这些选项。
- 在你的工作流中使用这些数据。