Camel AI - Firecrawl Docs

Note

CAMEL 官方文档： docs.camel-ai.org/key_modules/loaders

Firecrawl 以 CAMEL 加载器的形式提供，可将任何网站转换为供您的代理使用、适配 LLM 的 Markdown

安装#

pip install camel-ai

设置 Firecrawl key，以便加载器自动读取：

export FIRECRAWL_API_KEY="fc-your-api-key"

使用方法#

借助 Camel AI 和 Firecrawl，你可以快速构建利用网页数据的多智能体系统。

使用 Firecrawl 获取整个网站#

crawl 会在任务完成后返回。检查 status，然后从 data 中读取 Markdown。

from camel.loaders import Firecrawlfirecrawl = Firecrawl()response = firecrawl.crawl(url="https://www.camel-ai.org/about")print(response["status"])  # 爬取完成后为 "completed"print(response["data"][0]["markdown"])

使用 Firecrawl 获取单个网页#

from camel.loaders import Firecrawlfirecrawl = Firecrawl()response = firecrawl.scrape(url="https://www.camel-ai.org/about")print(response["markdown"])

Tip

Firecrawl() 会从环境变量中读取 FIRECRAWL_API_KEY。传入 api_key=... 可覆盖该设置，或传入 api_url=... 以指向 self-hosted 实例。

安装#

使用方法#

使用 Firecrawl 获取整个网站#

使用 Firecrawl 获取单个网页#

资源#