Puppeteer : 如何在 ec2 服务器上安装 puppeteer

Puppeteer : How to install puppeteer on ec2 server

我想在 ec2 服务器上安装 Puppeteer。那么我需要在每台需要抓取数据的机器上安装 puppeteer 和 chromium 吗?

您只需安装 puppeteerpuppeteer 自动下载适用于它的 Chromium 版本 - 一切都开箱即用!

因此,一旦您安装了 puppeteer,就可以开始了!

有关详细信息,请参阅 puppeteer 自述文件:
https://github.com/GoogleChrome/puppeteer#readme

当您安装 puppeteer 时,chromium 会自动安装。你唯一需要注意的是,你应该 运行 它处于无头模式..如果你想 运行 它处于非无头模式(即使用 GUI),你需要有一个使用 EC2 的 VNC 服务器并通过 VNC 启动脚本。至于你不需要 运行 在非无头模式下,你需要做的就是

  • npm i

  • npm start

puppeteer 附带了它自己的 chromium 版本。

将 puppeteer 安装到 EC2 可能是一件棘手的事情。还有一个问题没有解决。

要回答您的问题,您不必担心单独下载 Chromium,因为 npm i puppeteer 会负责下载与 puppeteer 兼容的 Chromium,并负责其余部分。

但是,您将 运行 遇到的更麻烦的问题是确保在 EC2 上安装了所需的依赖项,以便 运行 Puppeteer。这些依赖关系因发行版(CentOS、Ubuntu/Debian 等...)而异。

按照这些步骤,

  1. 安装所有需要的依赖项。你可以参考这个 link 的列表, https://github.com/GoogleChrome/puppeteer/blob/master/docs/troubleshooting.md#chrome-headless-doesnt-launch-on-unix
  2. 安装所有依赖项后,安装 npm 并在 .npmrc 中配置代理,如果你在 VPC/proxy 后面。
  3. 然后像往常一样继续npm i puppeteer并照常进行

让我知道这是否有效,如果您有任何疑问,请与我联系。