Apache spark 从节点不连接到主节点,但工作人员确实开始
Apache spark slave nodes don't connect to master node but workers do start
我有 5 个节点(1 个主节点和 4 个从节点)。我在所有指示主从主机的机器上都有相同的配置文件(slaves
和 spark-defaults.conf
)。
当我使用 start-all.sh
命令启动 Apache spark 时,worker 在所有机器上启动,但在 webUI 面板中只有一个 worker(在主节点上)。
这里有什么问题?
我的问题解决了。
我必须手动设置 SPARK_MASTER_HOST
和 SPARK_MASTER_PORT
环境变量。将这两个添加到 .bashrc
文件后问题解决了,从节点现在连接到主节点。
我有 5 个节点(1 个主节点和 4 个从节点)。我在所有指示主从主机的机器上都有相同的配置文件(slaves
和 spark-defaults.conf
)。
当我使用 start-all.sh
命令启动 Apache spark 时,worker 在所有机器上启动,但在 webUI 面板中只有一个 worker(在主节点上)。
这里有什么问题?
我的问题解决了。
我必须手动设置 SPARK_MASTER_HOST
和 SPARK_MASTER_PORT
环境变量。将这两个添加到 .bashrc
文件后问题解决了,从节点现在连接到主节点。