Skip to main content

AWS Lambda

在 AWS Lambda 无服务器函数中使用 Firecrawl,进行搜索、抓取并与网页数据交互。
1 min read

前提条件#

  • 拥有 Lambda 访问权限的 AWS 账户
  • 一个 Firecrawl API 密钥——免费获取

配置#

进行网页搜索#

创建包含搜索处理程序的 index.mjs

抓取页面#

向同一个处理程序中添加一个 scrape action:

与页面交互#

添加一个 interact 操作,以控制实时浏览器会话——点击按钮、填写表单并提取动态内容:

部署#

使用 AWS CLI 进行打包和部署:

Note

将 Lambda 的超时时间设置为至少 30 秒。抓取动态页面和交互会话所需的时间可能会超过默认的 3 秒超时时间。

后续步骤#