LangChain - Firecrawl Docs

Note

官方包： langchain-firecrawl · 源代码

在 LangChain 中使用 Firecrawl 进行抓取、爬取、映射、提取和搜索，既可用作文档加载器，也可作为代理工具

安装#

pip install langchain-firecrawl

从 firecrawl.dev 获取 API 密钥，并将其设置为环境变量 (或传入 api_key=...) ：

export FIRECRAWL_API_KEY="fc-your-api-key"

文档加载器#

FirecrawlLoader 返回 LangChain Document。选择 mode：

模式	加载内容
`scrape`	单个页面
`crawl`	整个网站
`map`	发现的 URL
`extract`	结构化数据
`search`	网页搜索结果

from langchain_firecrawl import FirecrawlLoaderloader = FirecrawlLoader(url="https://www.firecrawl.dev", mode="scrape")docs = loader.load()print(docs[0].page_content[:200])print(docs[0].metadata)

代理工具#

每项功能也都可作为 BaseTool 绑定到代理：

from langchain_firecrawl import (    FirecrawlScrape,    FirecrawlCrawl,    FirecrawlMap,    FirecrawlExtract,    FirecrawlSearch,)scrape = FirecrawlScrape()result = scrape.invoke({"url": "https://www.firecrawl.dev"})print(result["markdown"])search = FirecrawlSearch()print(search.invoke({"query": "best web scraping libraries", "limit": 5}))

LangChain JS#

JavaScript 加载器随 @langchain/community 一同提供，并将 Firecrawl JS SDK 作为对等依赖：

npm install @langchain/community @mendable/firecrawl-js

import { FireCrawlLoader } from "@langchain/community/document_loaders/web/firecrawl";const loader = new FireCrawlLoader({  url: "https://firecrawl.dev",  apiKey: process.env.FIRECRAWL_API_KEY, // 默认读取 FIRECRAWL_API_KEY  mode: "scrape", // "scrape" 用于抓取单个页面，"crawl" 用于爬取子页面});const docs = await loader.load();

安装#

文档加载器#

代理工具#

LangChain JS#

资源#