AWS - Hadoop 集群 - 节点启动但不工作

AWS - Hadoop cluster - Nodes started but not working

我在我的本地服务器中设置了 hadoop 集群,它运行良好,我正在将其复制到 AWS 服务器(1 个主 NN、1 个辅助名称节点、7 个从属),我能够启动我的 hadoop。但是我无法打开像 :50070/dfshealth.jsp 这样的页面。我已经正确完成了安装,并且 ssh public 密钥身份验证也与我在本地设置中所做的相同。日志中也没有异常的东西。还有什么我可以调查的吗?

如果日志正常,则确保打开必要的 Hadoop 端口。与您的本地设置不同,在 AWS 中,您应该询问他们要打开的特定端口。在这种情况下,您必须请求打开所需的 Hadoop http 和 RPC 端口(如果没有)。这肯定会解决问题。

您需要开放安全组端口。确保在集群中的所有节点上使用相同的安全组。此外,默认情况下,您只能使用弹性 ip/public dns 进行连接(从 ec2* 开始)。如果你想使用私有 ips,你需要做 SSH 隧道。