Elixir - Firecrawl Docs

Scrapez des pages individuelles, effectuez le crawl de sites entiers et la cartographie d’URL depuis votre application Elixir. Le SDK valide tous les paramètres à l’exécution avec NimbleOptions et utilise Req pour les requêtes HTTP, afin que vous obteniez des erreurs claires en cas de faute de frappe ou d’option invalide avant même qu’une requête ne soit envoyée.

Chaque fonction dispose d’une variante bang (!) qui lève une exception au lieu de renvoyer des tuples {:error, ...}.

Installation#

Ajoutez firecrawl à votre liste de dépendances dans mix.exs et configurez votre clé API :

Elixir

# Ajouter à mix.exs{:firecrawl, "~> 1.0"}# Ensuite, configurez votre clé API dans config.exsconfig :firecrawl, api_key: "fc-YOUR-API-KEY"

Ou transmettez la clé API à chaque requête :

Elixir

Firecrawl.scrape_and_extract_from_url([url: "https://example.com"], api_key: "fc-YOUR-API-KEY")

Utilisation#

Obtenez une clé API sur firecrawl.dev
Définissez la clé API dans la configuration de votre application ou passez-la en option à n’importe quelle fonction.

Elixir

# Scraper un site web :{:ok, scrape_result} = Firecrawl.scrape_and_extract_from_url(  url: "https://firecrawl.dev",  formats: ["markdown", "html"])IO.inspect(scrape_result.body)# Crawler un site web :{:ok, crawl_result} = Firecrawl.crawl_urls(  url: "https://firecrawl.dev",  limit: 100,  scrape_options: [    formats: ["markdown", "html"]  ])IO.inspect(crawl_result.body)

Scraper une URL#

Scrapez une seule URL avec scrape_and_extract_from_url. Cette fonction renvoie le contenu de la page sous forme de données structurées, y compris le markdown, les métadonnées et tous les autres formats demandés.

Elixir

# Scraper un site web :{:ok, result} = Firecrawl.scrape_and_extract_from_url(url: "https://firecrawl.dev", formats: ["markdown", "html"])IO.inspect(result.body)

Effectuer le crawl d’un site web#

Pour effectuer le crawl d’un site web, utilisez crawl_urls. Cette méthode prend l’URL de départ ainsi que des paramètres facultatifs, tels que la limite de pages, les domaines autorisés et le format de sortie.

Elixir

{:ok, result} = Firecrawl.crawl_urls(url: "https://docs.firecrawl.dev", limit: 5)IO.inspect(result.body)

Démarrer un crawl#

Démarrez une tâche de crawl et obtenez l’ID de tâche sans bloquer :

Elixir

{:ok, job} = Firecrawl.crawl_urls(url: "https://docs.firecrawl.dev", limit: 10)crawl_id = job.body["id"]IO.puts(crawl_id)

Vérifier l’état d’un crawl#

Vérifiez l’état d’une tâche de crawl avec get_crawl_status :

Elixir

{:ok, status} = Firecrawl.get_crawl_status("<crawl-id>")IO.inspect(status.body)

Annuler un crawl#

Annulez une tâche de crawl avec cancel_crawl :

Elixir

{:ok, result} = Firecrawl.cancel_crawl("<crawl-id>")IO.puts("Cancelled: #{inspect(result.body)}")

Cartographier un site web#

Utilisez map_urls pour générer une liste d’URL d’un site web :

Elixir

{:ok, result} = Firecrawl.map_urls(url: "https://firecrawl.dev", limit: 10)IO.inspect(result.body)

Recherche#

Recherchez sur le web et scrapez éventuellement les résultats :

Elixir

{:ok, result} = Firecrawl.search_and_scrape(query: "firecrawl web scraping", limit: 5)IO.inspect(result.body["data"]["web"])

Extraction par lot#

Extrayez plusieurs URL en un seul lot :

Elixir

{:ok, result} = Firecrawl.scrape_and_extract_from_urls(  urls: ["https://firecrawl.dev", "https://docs.firecrawl.dev"],  formats: ["markdown"])IO.inspect(result.body)

Agent#

Démarrez une tâche d’extraction de données pilotée par un agent :

Elixir

{:ok, job} = Firecrawl.start_agent(  prompt: "Extract all product names and prices",  urls: ["https://example.com/products"])job_id = job.body["id"]# Interroger l'état{:ok, status} = Firecrawl.get_agent_status(job_id)IO.inspect(status.body)

Browser#

Démarrez des sessions de navigateur dans le cloud et exécutez du code à distance.

Créer une session#

Elixir

{:ok, session} = Firecrawl.create_browser_session(ttl: 600)session_id = session.body["id"]cdp_url = session.body["cdpUrl"]live_view_url = session.body["liveViewUrl"]

Exécuter du code#

Elixir

{:ok, result} = Firecrawl.execute_browser_code(session_id,  code: ~s(await page.goto("https://news.ycombinator.com")\ntitle = await page.title()\nprint(title)),  language: "python")IO.inspect(result.body)

Profils#

Enregistrez et réutilisez l’état du navigateur (cookies, localStorage, etc.) d’une session à l’autre :

Elixir

{:ok, session} = Firecrawl.create_browser_session(  ttl: 600,  profile: [    name: "my-profile",    save_changes: true  ])

Lister & fermer des sessions#

Elixir

# Lister les sessions actives{:ok, sessions} = Firecrawl.list_browser_sessions(status: "active")IO.inspect(sessions.body)# Fermer une session{:ok, _} = Firecrawl.delete_browser_session(session_id)

Instances autohébergées#

Pour utiliser une instance autohébergée de Firecrawl, passez l’option base_url :

Elixir

{:ok, result} = Firecrawl.scrape_and_extract_from_url(  [url: "https://example.com"],  base_url: "https://your-instance.com/v2")

Gestion des erreurs#

Les fonctions sans bang renvoient {:ok, response} ou {:error, exception}. Les variantes bang déclenchent une exception en cas d’erreur. NimbleOptions valide tous les paramètres avant l’envoi de la requête, ce qui permet de détecter immédiatement les fautes de frappe, les champs obligatoires manquants et les erreurs de type.

Elixir

case Firecrawl.scrape_and_extract_from_url(url: "https://example.com") do  {:ok, response} -> IO.inspect(response.body)  {:error, error} -> IO.puts("Error: #{Exception.message(error)}")end# Ou utiliser la variante bang pour lever une exception en cas d'erreur :response = Firecrawl.scrape_and_extract_from_url!(url: "https://example.com")IO.inspect(response.body)

Toutes les fonctions disponibles#

Fonction	Description
`scrape_and_extract_from_url`	Scraper une seule URL
`scrape_and_extract_from_urls`	Effectuer une extraction par lot de plusieurs URL
`crawl_urls`	Effectuer le crawl d’un site web
`get_crawl_status`	Vérifier l’état d’une tâche de crawl
`get_crawl_errors`	Obtenir les erreurs d’une tâche de crawl
`get_active_crawls`	Lister les crawls actifs
`cancel_crawl`	Annuler une tâche de crawl
`map_urls`	Cartographier les URL d’un site web
`search_and_scrape`	Rechercher et scraper les résultats
`start_agent`	Démarrer une tâche d’extraction avec un agent
`get_agent_status`	Vérifier l’état d’une tâche d’agent
`cancel_agent`	Annuler une tâche d’agent
`create_browser_session`	Créer une session de navigateur
`execute_browser_code`	Exécuter du code dans une session de navigateur
`list_browser_sessions`	Lister les sessions de navigateur
`delete_browser_session`	Supprimer une session de navigateur
`get_batch_scrape_status`	Vérifier l’état d’une extraction par lot
`get_batch_scrape_errors`	Obtenir les erreurs d’une extraction par lot
`cancel_batch_scrape`	Annuler une extraction par lot
`get_credit_usage`	Obtenir les crédits restants

Chaque fonction ci-dessus possède une variante avec bang (!) (par exemple, scrape_and_extract_from_url!) qui lève une erreur au lieu de renvoyer des tuples d’erreur.

Pour la documentation complète de l’API, consultez hexdocs.pm/firecrawl.