Django - Firecrawl Docs

前提条件#

Django 4以降のプロジェクト
Firecrawl APIキー — 無料で取得

SDK をインストール#

pip install firecrawl-py

Django の設定または環境変数に API key を追加します：

export FIRECRAWL_API_KEY=fc-YOUR-API-KEY

ビューを作成#

Django アプリに検索、スクレイピング、Interact 用のビューを追加します。views.py では以下のように記述します。

import jsonimport osfrom django.http import JsonResponsefrom django.views.decorators.csrf import csrf_exemptfrom django.views.decorators.http import require_POSTfrom firecrawl import Firecrawlfirecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])@csrf_exempt@require_POSTdef search_view(request):    body = json.loads(request.body)    results = firecrawl.search(body["query"], limit=body.get("limit", 5))    return JsonResponse(        [{"title": r.title, "url": r.url} for r in results.web],        safe=False,    )@csrf_exempt@require_POSTdef scrape_view(request):    body = json.loads(request.body)    result = firecrawl.scrape(body["url"])    return JsonResponse({        "markdown": result.markdown,        "metadata": result.metadata,    })@csrf_exempt@require_POSTdef interact_start_view(request):    body = json.loads(request.body)    result = firecrawl.scrape(body["url"], formats=["markdown"])    return JsonResponse({"scrape_id": result.metadata.scrape_id})@csrf_exempt@require_POSTdef interact_view(request):    body = json.loads(request.body)    response = firecrawl.interact(body["scrape_id"], prompt=body["prompt"])    return JsonResponse({"output": response.output})@csrf_exempt@require_POSTdef interact_stop_view(request):    body = json.loads(request.body)    firecrawl.stop_interaction(body["scrape_id"])    return JsonResponse({"status": "stopped"})

URL を設定する#

urls.py で:

from django.urls import pathfrom . import viewsurlpatterns = [    path("api/search/", views.search_view),    path("api/scrape/", views.scrape_view),    path("api/interact/start/", views.interact_start_view),    path("api/interact/", views.interact_view),    path("api/interact/stop/", views.interact_stop_view),]

試してみる#

python manage.py runserver# ウェブを検索するcurl -X POST http://localhost:8000/api/search/ \  -H "Content-Type: application/json" \  -d '{"query": "firecrawl web scraping", "limit": 5}'# ページをスクレイピングするcurl -X POST http://localhost:8000/api/scrape/ \  -H "Content-Type: application/json" \  -d '{"url": "https://example.com"}'# インタラクティブセッションを開始するcurl -X POST http://localhost:8000/api/interact/start/ \  -H "Content-Type: application/json" \  -d '{"url": "https://www.amazon.com"}'

管理コマンド#

スクリプトやデータパイプラインで使うために、Django の管理コマンドに Firecrawl を組み込みます。management/commands/scrape.py を作成します:

import osfrom django.core.management.base import BaseCommandfrom firecrawl import Firecrawlclass Command(BaseCommand):    help = "URLをスクレイピングしてmarkdownを出力する"    def add_arguments(self, parser):        parser.add_argument("url", type=str)    def handle(self, *args, **options):        firecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])        result = firecrawl.scrape(options["url"])        self.stdout.write(result.markdown)

python manage.py scrape https://example.com

次のステップ#

スクレイピングのドキュメント

フォーマット、アクション、プロキシなど、スクレイピングのオプションを網羅

検索ドキュメント

Webを検索し、ページ全体のコンテンツを取得

Interact ドキュメント

クリック、フォーム入力、動的コンテンツの抽出

Python SDK リファレンス

クロール、マップ、非同期処理などを含む完全な SDK リファレンス