Skip to main content

使用 AI 构建

让你的 AI 代理接入 Firecrawl 所需的一切。
6 min read

如果你在使用 AI 开发,Firecrawl 提供了多种资源来提升你的开发体验。Firecrawl 内置了 技能——自包含的知识包,AI 编码代理会自动发现并使用它们。只需一条安装命令,代理即可获得用于实时网页操作的 CLI 技能,以及用于产出可重复交付成果的工作流技能。将 Firecrawl 集成到应用代码中的构建技能则需要单独一步 (firecrawl setup build) 。Firecrawl 用户可以通过两种方式获取 API 密钥。请参见下方的获取凭据。

获取凭据#

Firecrawl 用户可以通过两种方式获取 API 密钥。大多数用户应通过 Dashboard 或 CLI 登录。如果你的代理平台支持 WorkOS ID-JAG,则可以直接向 Firecrawl 注册。

我该用哪一种? 除非你确定自己的平台支持 WorkOS ID-JAG,否则请使用 Dashboard 或 CLI。

你可能通过以下方式来到这里:

  • **文档:**你已进入此页面。请选择下方与你登录方式相对应的选项。
  • **API 401:**支持 ID-JAG 的代理可按照 auth.md 中第 1 步的 Discovery 流程操作。其他用户应使用 Dashboard 或 CLI。
  • **直接 URL:**按照 SKILL.md 进行浏览器登录和设置,或按照 auth.md 完成 WorkOS ID-JAG 注册。

无法登录或获取密钥? CLI、SDKs 和 REST API 支持免密钥搜索、抓取、交互和解析。托管 MCP 提供功能范围更有限的免密钥 Search、Scrape 和 Parse;其中交互需要账户连接或 API 密钥。免密钥访问会受到限流,仅作为后备方案,因此一旦可以使用免费账户或 API 密钥,请尽快切换。详情请参见 Keyless (无 API 密钥)。

获得 API 密钥后,继续阅读下方的 CLI 和代理技能。

CLI 和代理技能#

Firecrawl CLI 让你的代理能够通过终端搜索、抓取、交互、爬取、映射、提取,并运行代理任务。它专为人类用户、AI 代理和 CI/CD 流水线打造。

Firecrawl 技能是一组自包含的知识包,Codex、Claude Code、Cursor 和 OpenCode 等 AI 编码代理会自动发现并使用它们。只需一条安装命令,即可设置用于实时网页操作的 CLI 工具,以及用于产出可重复交付成果的工作流技能。用于将 Firecrawl 集成到应用代码中的构建技能则通过 firecrawl setup build 安装:

  • --all 会跳过代理选择,并初始化检测到的每个代理
  • --browser 会自动打开浏览器进行 Firecrawl 身份验证
  • 还可使用 --skip-auth、--skip-install、--skip-skills 和 --agent <name>。请参见 firecrawl init --help。

安装后,请确认一切运行正常:

如需稍后重新安装,或指定特定代理:

安装后会提供什么#

Firecrawl 技能分为三类。init 会安装 CLI 技能和工作流技能。运行 firecrawl setup build 可获取构建技能。每个部分都位于各自独立的 repo 中,因此可以独立演进:

CLI 技能 — 用于代理会话期间进行实时网页操作:

技能Purpose
firecrawl整体 CLI 命令工作流
firecrawl-search进行网页搜索并发现页面
firecrawl-scrape从已知 URL 提取干净内容
firecrawl-interact使用 prompt 或代码与已抓取页面交互
firecrawl-crawl从整个网站批量提取内容
firecrawl-map发现域名下的所有 URL
firecrawl-agent通过任务运行自主网页数据采集
firecrawl-monitor检测站点变更并接收通知
firecrawl-parse将本地文档解析为 markdown
firecrawl-download将站点下载为本地文件
firecrawl-research-index搜索论文、阅读段落并追踪引用
firecrawl-developer-index搜索 issue、pull request、README 和文档

上述安装包含两种索引技能。若只想将论文搜索技能添加到现有设置中——处理生物医学或科学文献时值得这样做——请运行:

构建技能 — 用于将 Firecrawl 集成到应用代码中:

技能Purpose
firecrawl-build为你的产品选择合适的 Firecrawl 端点
firecrawl-build-onboarding身份验证和项目设置
firecrawl-build-scrape在应用代码中实现抓取
firecrawl-build-search在应用代码中实现搜索
firecrawl-build-interact在应用代码中实现页面交互

工作流技能 — 以结果为导向的技能,可基于 Firecrawl 网页数据产出具体交付物:

技能产出
firecrawl-workflows用于选择合适工作流的总括技能
firecrawl-deep-research多来源研究报告
firecrawl-seo-audit网站地图、页面 SEO 检查、SERP 对比和优先修复项
firecrawl-lead-research会前公司和个人情报简报
firecrawl-lead-gen基于数据库和名录生成潜在客户列表
firecrawl-qa包含问题和复现步骤的线上站点 QA 报告
firecrawl-competitive-intel持续进行价格、功能和更新日志监控
firecrawl-market-research市场、财务、财报和行业研究
firecrawl-research-papers基于论文、PDF 和白皮书的文献综述
firecrawl-company-directories将名录提取为结构化公司列表
firecrawl-dashboard-reporting从 Dashboard 和内部网页工具中提取指标
firecrawl-knowledge-base面向 LLM 的参考文档、RAG 切片、训练数据或文档镜像
firecrawl-knowledge-ingest摄取受身份验证保护或高度依赖 JS 的文档门户
firecrawl-demo-walkthrough产品流程演练和 UX 拆解报告
firecrawl-shop产品研究和购物推荐
firecrawl-website-design-clone将网站的设计系统提取为代理可用的 DESIGN.md

选择你的路径#

CLI 技能和工作流技能通过上面的安装步骤获得。构建技能则需要单独一步:firecrawl setup build。区别在于后续的使用场景:

实时网页工具(CLI 技能)

当你需要在当前会话中使用网页数据时,请选择这个——例如进行网页搜索、抓取已知 URL、与已抓取页面交互、爬取文档、映射整个站点,或运行代理任务。

默认流程:

  1. 需要先发现内容时,从 search 开始
  2. 已有 URL 时,切换到 scrape
  3. 当已抓取页面需要后续 actions 时,使用 interact
  4. 当你需要大量 URL 或页面时,使用 map 或 crawl
  5. 当任务是开放式且需要自主发现时,使用 agent

应用集成(构建技能)

当你在构建应用、代理或工作流,并需要通过代码调用 Firecrawl API 时,请选择这个。使用 firecrawl setup build 安装构建技能。它们可帮助你选择合适的端点、接入 SDK,并运行一次冒烟测试。

代理会回答一个关键问题——Firecrawl 应该在产品中执行什么任务?——然后构建技能会据此路由到 /search、/scrape、/interact、/parse、/crawl、/map 或 /agent。

可重复交付成果(工作流技能)

当目标是产出一个完整成果时,请选择这个——例如研究报告、SEO 审计、QA 报告、潜在客户列表、知识库、竞争情报摘要,或克隆的设计系统——而不是原始网页数据或产品代码。

工作流技能会先根据上下文进行判断,只有当某个输入会阻碍工作推进时,才会提出简短的澄清问题。它们还会标出可独立并行处理的单元,以便子代理在竞争对手、页面或信息来源之间并行展开。

直接选择一个工作流,或者让统括性的 firecrawl-workflows 技能为请求路由:

REST API(无需安装)

如果你不想安装任何内容,代理也可以直接调用 Firecrawl REST API。设置 API 密钥后,直接调用这些端点:

  • POST https://api.firecrawl.dev/v2/search — 按查询发现页面
  • POST https://api.firecrawl.dev/v2/scrape — 从 URL 提取干净的 markdown
  • POST https://api.firecrawl.dev/v2/scrape/{scrapeId}/interact — 与已抓取页面交互
  • POST https://api.firecrawl.dev/v2/crawl — 批量提取整个站点
  • POST https://api.firecrawl.dev/v2/map — 发现域名下的 URL
  • POST https://api.firecrawl.dev/v2/agent — 运行自主网页数据收集

认证请求头:Authorization: Bearer fc-YOUR_API_KEY

完整的 onboarding 说明见:

代理可以直接获取任一文档:如需人工参与的 CLI/浏览器 onboarding,请使用 agent-onboarding/SKILL.md;如需 WorkOS ID-JAG 注册,请使用 auth.md。

将 Firecrawl 作为工具使用#

Firecrawl 为代理提供了 5 个处理网页的核心工具。每个工具都对应一个 API 端点和一条 CLI 命令。代理会根据需求选择合适的工具:

搜索 — 通过查询发现页面

如果你还没有 URL,就从这里开始。搜索会根据自然语言查询返回相关网页,并可选择在结果中附带完整页面内容。

适用场景: 常规网页研究、查找文档、竞品分析、回答需要最新网页信息的问题。

不适用场景: 科学文献。要查找论文、阅读论文中的段落或追踪引文,请改用研究索引 — 使用 firecrawl_research_* MCP 工具、CLI 中的 firecrawl research search-papers,或 firecrawl-research-index 技能。搜索返回网页 snippet;研究索引返回包含完整摘要的论文记录。

抓取 — 从 URL 提取内容

如果你已经有 URL,并且需要干净、适合 LLM 使用的内容,就用这个工具。抓取 可以将任意网页转换为 markdown、HTML 或结构化数据,并自动处理 JavaScript 渲染、反爬措施以及杂乱的 HTML。

适用场景: 阅读文档、提取文章内容、从已知页面抓取数据、将网页转换为供 LLM 使用的上下文。

爬取 — 批量提取整个站点

爬取 会从起始 URL 递归跟踪链接,并抓取发现的每一个页面。当你需要整个站点或整套文档的内容,而不只是单个页面时,就用它。

适用场景: 导入完整文档站点、构建知识库、迁移内容、收集训练数据。

Map — 发现域名下的所有 URL

Map 可以在不抓取内容的情况下,快速找出某个域名下所有已索引的 URL。如果你需要先了解站点结构,或在抓取前定位特定页面,就用它。

适用场景: 站点审计、在大型站点中查找特定页面、在定向爬取前了解站点结构。

交互 — 处理已抓取的页面

交互 让代理能够基于抓取结果,通过 prompt 或代码继续操作。当已抓取的页面需要点击、填写表单、导航或后续提取时,就用它。

适用场景: 基于抓取结果继续操作、浏览动态页面、填写表单,以及在页面操作后提取数据。

代理如何串联使用工具#

大多数代理工作流都会结合使用多个工具。典型模式如下:

  1. 搜索 以查找相关页面 → 获取 URL 列表
  2. 抓取 最相关的 URL → 获取清洗后的内容
  3. 当已抓取的页面需要后续操作时,进行 交互
  4. 当任务需要自主发现或结构化的多页面提取时,使用 代理

对于批量任务,代理通常会先使用 Map 发现 URL,然后再对所需页面执行 爬取 或有选择地 抓取。

代理式调试#

当 Firecrawl 调用失败或返回异常结果时,你的代理无需升级给人工处理。/support/ask 端点是一个专为代理间通信构建的 AI 支持代理——它会诊断你的任务、账户和 API 使用方式中的问题,然后返回经过验证的答案,以及代理可直接应用的机器可读修复参数。

将它接入代理的错误处理流程中,这样它就能在抓取失败、爬取问题和配置问题出现时自行恢复——通常只需 15–30 秒,无需人工介入。

工作方式#

  1. 你的代理描述问题 —— 用自然语言说明遇到的问题。
  2. 支持代理展开调查 —— 它会检查任务日志、账户状态、文档和源代码。
  3. 支持代理验证修复方案 —— 在可能的情况下,它会针对线上 Firecrawl API 测试修复效果 (例如,使用调整后的参数重新抓取) 。
  4. 你的代理获得经过验证的答案 —— 包括文字形式的 answer、可直接应用的机器可读 fixParameters,以及用于说明该修复是否已测试的 validation 结果。

示例#

发送一个问题,并可附带一个可选的 rationale,为支持人员提供有关最终用户想要实现什么目标的上下文信息:

响应中包含 answer、confidence 评分、可选的 fixParameters (例如 {"waitFor": 5000},你的代理可在下一次调用中传入) ,以及用于说明该修复是否已在实时 API 上测试过的 validation。

提问端点参考

/support/ask 的完整请求和响应 schema,包括状态码,以及当代理卡住时返回的反馈封装。

Firecrawl MCP 服务器#

MCP 是一项开放协议,可让兼容的应用程序为模型提供工具访问权限。开源的 Firecrawl MCP 服务器 支持搜索、抓取、浏览、爬取、映射、通过 Scrape JSON 进行结构化提取,以及自主代理任务。

选择 MCP 连接方式

可尝试免密钥访问、通过交互式客户端登录,或为代理、CI 和后端服务配置 API 密钥。

面向代理的 Firecrawl 文档#

你可以用结合上下文的方式,向你的代理提供最新的 Firecrawl 文档。代理可以直接拉取这些资源,自行完成接入——无需人工手动配置。

获取凭据

从 获取凭据 开始,选择 Dashboard/CLI 设置或 WorkOS ID-JAG 注册。关于 ID-JAG 注册,请遵循 auth.md。

Markdown 文档

每个页面都有对应的 markdown 版本。只需在任意文档 URL 后追加 .md,或使用页面操作菜单将页面复制为 markdown。

完整 llms.txt

将我们的全部文档以单个文件的形式提供给你的代理。

也可使用更短的索引:https://docs.firecrawl.dev/llms.txt。

MCP 文档服务器

如需通过 MCP 工具以结构化方式接入,请在 Codex、Cursor、Claude Code、Claude Desktop 或其他兼容客户端中连接 Firecrawl MCP 服务器。请从 MCP 设置选择器 开始。Windsurf 用户应遵循 Windsurf 快速入门。

复制到 ChatGPT / Claude

每个页面都包含一个与上下文相关的操作菜单 (复制、以 markdown 查看、在 ChatGPT 中打开、在 Claude 中打开) ,让代理和用户都能一键在不同工具之间传递页面。

快速开始指南#

为代理最常使用的技术栈提供可直接上手的快速开始指南。让代理使用其中任意一个,即可端到端快速搭建可运行的 Firecrawl 集成。

更想交给 Cursor 处理?一键安装 Firecrawl MCP 服务器,然后在 Cursor 中开始编写 prompt:

在 Cursor 中打开——添加 Firecrawl MCP 服务器

请参见左侧边栏中的完整快速开始列表 (Express、NestJS、Fastify、Hono、Bun、Remix、Nuxt、SvelteKit、Astro、Mastra、Django、Flask、Elixir、Java、Spring Boot、.NET、ASP.NET Core 等) 。

代理接入#

Firecrawl 可与代理实际所处的运行时和框架配合使用——包括代码代理、代理 SDK 以及模型聚合器。大多数代码代理集成都可以通过 npx -y firecrawl-cli@latest init --all --browser 自动发现 Firecrawl 技能;其余则通过 MCP 或 REST API 将 Firecrawl 作为工具调用。

SDKs#

官方类型化 SDK,覆盖完整的 Firecrawl API。为你的代理选择与你技术栈相匹配的语言 SDK。

Firecrawl 还为主流 LLM SDK 和代理框架提供了原生 SDK 绑定——请参见 LLM SDKs and Frameworks,了解 OpenAI、Anthropic、Gemini、Google ADK、Vercel AI SDK、LangChain、LangGraph、LlamaIndex、Mastra 和 ElevenAgents。