Escolhendo o Extrator de Dados

Firecrawl oferece três abordagens para extrair dados estruturados de páginas da web. Cada uma atende a diferentes casos de uso, com distintos níveis de automação e controle.

O endpoint /agent é o recurso mais avançado do Firecrawl — o sucessor de /extract. Ele usa agentes de IA para pesquisar, navegar e coletar dados de forma autônoma em toda a web.

• URLs opcionais: Basta descrever o que você precisa no prompt; o uso de URLs é totalmente opcional
• Navegação autônoma: O agente pesquisa e navega profundamente em sites para encontrar seus dados
• Busca profunda na web: Descobre autonomamente informações em diversos domínios e páginas
• Processamento paralelo: Processa múltiplas fontes simultaneamente para resultados mais rápidos
• Modelo: Cada execução usa spark-2 (o padrão). Os modelos Spark 1 foram descontinuados e são direcionados para spark-2

Cenário: Você precisa encontrar informações sobre startups de IA que captaram uma rodada de investimento Série A, incluindo seus fundadores e os valores investidos.

Por que /agent: Você não sabe quais sites contêm essas informações. O agent irá pesquisar de forma autônoma na web, navegar até fontes relevantes (Crunchbase, sites de notícias, páginas das empresas) e compilar os dados estruturados para você.

Para mais detalhes, consulte a documentação do Agent.

O endpoint /extract coleta dados estruturados de URLs especificadas ou de domínios inteiros usando extração com LLMs.

• URLs normalmente necessárias: Forneça pelo menos uma URL (aceita curingas como example.com/*)
• Rastreamento de domínio: Pode rastrear e analisar todas as URLs descobertas em um domínio
• Aprimoramento com busca na web: enableWebSearch opcional para seguir links fora dos domínios especificados
• Schema opcional: Suporta JSON Schema rígido OU prompts em linguagem natural
• Processamento assíncrono: Retorna um ID de tarefa para verificação de status

O desafio fundamental com /extract é que você normalmente precisa conhecer as URLs de antemão:

1. Lacuna de descoberta: para tarefas como "encontrar startups da YC W24", você não sabe quais URLs contêm os dados. Você precisaria de uma etapa de pesquisa separada antes de chamar /extract.
2. Busca na web pouco prática: embora enableWebSearch exista, ele é limitado a começar pelas URLs que você fornece — um fluxo de trabalho pouco prático para tarefas de descoberta.
3. Por que /agent foi criado: /extract é bom em extrair de locais conhecidos, mas menos eficaz em descobrir onde os dados estão.

Cenário: Você tem a URL da documentação de um concorrente e quer extrair todos os endpoints de API deles de docs.competitor.com/*.

Por que /extract funcionou aqui: Você conhecia exatamente o domínio. Mas, mesmo assim, /agent com URLs fornecidas normalmente oferece resultados melhores hoje.

Para mais detalhes, consulte a documentação do Extract.

O endpoint /scrape com modo JSON é a abordagem mais controlada — ele extrai dados estruturados de uma única URL conhecida usando um LLM para analisar o conteúdo da página no schema que você especificar.

• Apenas uma URL: Projetado para extrair dados de uma única página específica por vez
• URL exata obrigatória: Você deve conhecer a URL exata que contém os dados
• Schema opcional: Pode usar JSON Schema OU apenas um prompt (o LLM escolhe a estrutura)
• Síncrono: Retorna os dados imediatamente (sem necessidade de polling de jobs)
• Formatos adicionais: Pode combinar extração em JSON com markdown, HTML e capturas de tela em uma única requisição

Cenário: Você está criando uma ferramenta de monitoramento de preços e precisa extrair o preço, o status de estoque e os detalhes do produto de uma página de produto específica para a qual você já tem a URL.

Por que usar /scrape com modo JSON: Você sabe exatamente qual página contém os dados, precisa de uma extração precisa de uma única página e quer resultados síncronos sem a sobrecarga de gerenciar tarefas.

Para mais detalhes, consulte a documentação do modo JSON.

Você conhece a(s) URL(s) exata(s) que contém seus dados?

• NÃO → Use /agent (descoberta autônoma na web)
• SIM
  • Página única? → Use /scrape com modo JSON
  • Múltiplas páginas? → Use /agent com URLs (ou /scrape em lote)

Trade-off: /scrape é o mais barato, mas exige que você saiba a URL. /agent custa mais, mas cuida da descoberta automaticamente.

Para preços detalhados, consulte Firecrawl Pricing.

Se você estiver usando /extract atualmente, a migração é simples:

Antes (extract):

result = app.extract(    urls=["https://example.com/*"],    prompt="Extract product information",    schema=schema)

Depois (agente):

result = app.agent(    urls=["https://example.com"],  # Opcional - pode omitir completamente    prompt="Extract product information from example.com",    schema=schema,    model="spark-2"  # o padrão; os modelos Spark 1 estão descontinuados e são redirecionados para "spark-2")

A principal vantagem é que, com /agent, você pode simplesmente descrever o que precisa, sem nem precisar informar URLs.

1. Sabe a URL exata? Use /scrape com modo JSON — é a opção mais barata (5 créditos/página), mais rápida (síncrona) e mais previsível.

2. Precisa de pesquisa autônoma? Use /agent — ele cuida da descoberta automaticamente, com 5 execuções grátis/dia e depois precificação dinâmica baseada na complexidade.

3. Migrando de /extract para /agent em novos projetos — /agent é o sucessor, com recursos mais avançados.

4. Trade-off entre custo e conveniência: /scrape é mais econômico quando você já conhece suas URLs; /agent custa mais, mas elimina a descoberta manual de URLs.

• Documentação do Agent
• Modelos do Agent
• Documentação do modo JSON
• Documentação do Extract
• Raspagem em lote