Google Cloud Dataproc 集群的外部 IP 在集群重启后发生变化

External IP of Google Cloud Dataproc cluster changes after cluster restart

google cloud dataproc 有一个选项可以停止(而不是删除)集群(Master + Worker 节点)并同时启动,但是当我们这样做时,master 和 worker 节点的外部 IP 地址是更改会导致在其上使用 Hue 和其他基于 IP 的 Web UI 出现问题。

是否有重启后保留相同 IP 的选项?

虽然 Dataproc 当前不提供使用静态 IP 地址的直接选项,但您可以使用底层 Compute Engine 接口添加 static IP address to your master node,可能会删除之前的 "ephemeral IP address"。

也就是说,如果您通过外部 IP 地址访问您的用户界面,这可能意味着您还必须管理防火墙规则以仔细限制入站 IP 范围。根据您使用的 UI,如果他们不使用 HTTPS/SSL 那么即使您有限制从其他外部来源访问的防火墙规则,这仍然不理想。

访问 Dataproc 用户界面的推荐方式是 through SSH tunnels;如果您不想每次都重新键入所有 SSH 标志,为了方便起见,您甚至可以将 gcloud compute ssh 和浏览器启动命令添加到 shell 脚本中。这种方法还将确保链接在像 YARN ResourceManager 这样的页面中工作,因为这些将使用 GCE 内部主机名,而您的外部 IP 地址将无法使用。