LangChain - Firecrawl Docs

Intégrez Firecrawl à LangChain pour créer des applications d’IA alimentées par des données web.

Configuration#

npm install @langchain/openai firecrawl

Créez le fichier .env :

FIRECRAWL_API_KEY=your_firecrawl_keyOPENAI_API_KEY=your_openai_key

Remarque : Si vous utilisez Node < 20, installez dotenv et ajoutez import 'dotenv/config' à votre code.

Scraper + Chat#

Cet exemple illustre un workflow simple : scraper les données d’un site web, puis traiter le contenu avec LangChain.

import { Firecrawl } from 'firecrawl';import { ChatOpenAI } from '@langchain/openai';import { HumanMessage } from '@langchain/core/messages';const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });const chat = new ChatOpenAI({    model: 'gpt-5-nano',    apiKey: process.env.OPENAI_API_KEY});const scrapeResult = await firecrawl.scrape('https://firecrawl.dev', {    formats: ['markdown']});console.log('Scraped content length:', scrapeResult.markdown?.length);const response = await chat.invoke([    new HumanMessage(`Summarize: ${scrapeResult.markdown}`)]);console.log('Summary:', response.content);

Chaînes#

Cet exemple illustre comment construire une chaîne LangChain pour traiter et analyser le contenu récupéré par scraping.

import { Firecrawl } from 'firecrawl';import { ChatOpenAI } from '@langchain/openai';import { ChatPromptTemplate } from '@langchain/core/prompts';import { StringOutputParser } from '@langchain/core/output_parsers';const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });const model = new ChatOpenAI({    model: 'gpt-5-nano',    apiKey: process.env.OPENAI_API_KEY});const scrapeResult = await firecrawl.scrape('https://stripe.com', {    formats: ['markdown']});console.log('Scraped content length:', scrapeResult.markdown?.length);// Créer la chaîne de traitementconst prompt = ChatPromptTemplate.fromMessages([    ['system', 'You are an expert at analyzing company websites.'],    ['user', 'Extract the company name and main products from: {content}']]);const chain = prompt.pipe(model).pipe(new StringOutputParser());// Exécuter la chaîneconst result = await chain.invoke({    content: scrapeResult.markdown});console.log('Chain result:', result);

Appels d’outils#

Cet exemple montre comment utiliser la fonction de tool calling de LangChain pour laisser le modèle décider quand scraper des sites web.

import { Firecrawl } from 'firecrawl';import { ChatOpenAI } from '@langchain/openai';import { DynamicStructuredTool } from '@langchain/core/tools';import { z } from 'zod';const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });// Créer l'outil de scrapingconst scrapeWebsiteTool = new DynamicStructuredTool({    name: 'scrape_website',    description: 'Scrape content from any website URL',    schema: z.object({        url: z.string().url().describe('The URL to scrape')    }),    func: async ({ url }) => {        console.log('Scraping:', url);        const result = await firecrawl.scrape(url, {            formats: ['markdown']        });        console.log('Scraped content preview:', result.markdown?.substring(0, 200) + '...');        return result.markdown || 'No content scraped';    }});const model = new ChatOpenAI({    model: 'gpt-5-nano',    apiKey: process.env.OPENAI_API_KEY}).bindTools([scrapeWebsiteTool]);const response = await model.invoke('What is Firecrawl? Visit firecrawl.dev and tell me about it.');console.log('Response:', response.content);console.log('Tool calls:', response.tool_calls);

Extraction de données structurées#

Cet exemple illustre comment extraire des données structurées en utilisant la fonctionnalité de sortie structurée de LangChain.

import { Firecrawl } from 'firecrawl';import { ChatOpenAI } from '@langchain/openai';import { z } from 'zod';const firecrawl = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });const scrapeResult = await firecrawl.scrape('https://stripe.com', {    formats: ['markdown']});console.log('Longueur du contenu extrait :', scrapeResult.markdown?.length);const CompanyInfoSchema = z.object({    name: z.string(),    industry: z.string(),    description: z.string(),    products: z.array(z.string())});const model = new ChatOpenAI({    model: 'gpt-5-nano',    apiKey: process.env.OPENAI_API_KEY}).withStructuredOutput(CompanyInfoSchema);const companyInfo = await model.invoke([    {        role: 'system',        content: 'Extract company information from website content.'    },    {        role: 'user',        content: `Extract data: ${scrapeResult.markdown}`    }]);console.log('Informations de l\'entreprise extraites :', companyInfo);

Pour d'autres exemples, consultez la documentation de LangChain.