Django - Firecrawl Docs

Prérequis#

Un projet Django 4+
Une clé API Firecrawl — obtenez-en une gratuitement

Installer le SDK#

pip install firecrawl-py

Ajoutez votre clé API à la configuration Django ou à votre environnement :

export FIRECRAWL_API_KEY=fc-YOUR-API-KEY

Créer des vues#

Ajoutez des vues de recherche, de scraping et Interact à votre application Django. Dans views.py:

import jsonimport osfrom django.http import JsonResponsefrom django.views.decorators.csrf import csrf_exemptfrom django.views.decorators.http import require_POSTfrom firecrawl import Firecrawlfirecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])@csrf_exempt@require_POSTdef search_view(request):    body = json.loads(request.body)    results = firecrawl.search(body["query"], limit=body.get("limit", 5))    return JsonResponse(        [{"title": r.title, "url": r.url} for r in results.web],        safe=False,    )@csrf_exempt@require_POSTdef scrape_view(request):    body = json.loads(request.body)    result = firecrawl.scrape(body["url"])    return JsonResponse({        "markdown": result.markdown,        "metadata": result.metadata,    })@csrf_exempt@require_POSTdef interact_start_view(request):    body = json.loads(request.body)    result = firecrawl.scrape(body["url"], formats=["markdown"])    return JsonResponse({"scrape_id": result.metadata.scrape_id})@csrf_exempt@require_POSTdef interact_view(request):    body = json.loads(request.body)    response = firecrawl.interact(body["scrape_id"], prompt=body["prompt"])    return JsonResponse({"output": response.output})@csrf_exempt@require_POSTdef interact_stop_view(request):    body = json.loads(request.body)    firecrawl.stop_interaction(body["scrape_id"])    return JsonResponse({"status": "stopped"})

Configurer les URL#

Dans urls.py :

from django.urls import pathfrom . import viewsurlpatterns = [    path("api/search/", views.search_view),    path("api/scrape/", views.scrape_view),    path("api/interact/start/", views.interact_start_view),    path("api/interact/", views.interact_view),    path("api/interact/stop/", views.interact_stop_view),]

Tester#

python manage.py runserver# Recherche sur le webcurl -X POST http://localhost:8000/api/search/ \  -H "Content-Type: application/json" \  -d '{"query": "firecrawl web scraping", "limit": 5}'# Scraper une pagecurl -X POST http://localhost:8000/api/scrape/ \  -H "Content-Type: application/json" \  -d '{"url": "https://example.com"}'# Démarrer une session interactivecurl -X POST http://localhost:8000/api/interact/start/ \  -H "Content-Type: application/json" \  -d '{"url": "https://www.amazon.com"}'

Commande d’administration#

Utilisez Firecrawl dans une commande d’administration Django pour vos scripts et pipelines de données. Créez management/commands/scrape.py :

import osfrom django.core.management.base import BaseCommandfrom firecrawl import Firecrawlclass Command(BaseCommand):    help = "Scrape a URL and print the markdown"    def add_arguments(self, parser):        parser.add_argument("url", type=str)    def handle(self, *args, **options):        firecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])        result = firecrawl.scrape(options["url"])        self.stdout.write(result.markdown)

python manage.py scrape https://example.com

Prochaines étapes#

Documentation Scrape

Toutes les options de scrape, y compris les formats, les actions et les proxies

Documentation recherche

Effectuez une recherche sur le web et obtenez le contenu complet de la page

Documentation Interact

Cliquez, remplissez des formulaires et extrayez du contenu dynamique

Référence du SDK Python

Référence complète du SDK avec crawl, cartographie, async, etc.