Apache spark 从节点不连接到主节点,但工作人员确实开始

Apache spark slave nodes don't connect to master node but workers do start

我有 5 个节点(1 个主节点和 4 个从节点)。我在所有指示主从主机的机器上都有相同的配置文件(slavesspark-defaults.conf)。

当我使用 start-all.sh 命令启动 Apache spark 时,worker 在所有机器上启动,但在 webUI 面板中只有一个 worker(在主节点上)。

这里有什么问题?

我的问题解决了。 我必须手动设置 SPARK_MASTER_HOSTSPARK_MASTER_PORT 环境变量。将这两个添加到 .bashrc 文件后问题解决了,从节点现在连接到主节点。