为什么 Apache Spark Master 在 Zookeeper 使会话过期时关闭

Why does Apache Spark Master shutdown when Zookeeper expires the session

据我了解,Apache Spark Master 可以 运行 使用 Zookeeper 处于高可用性模式。也就是说,多个 Spark master 可以 运行 在 Leader/Follower 模式下,这些模式已注册到 ZooKeeper。

在我们的场景中,ZooKeeper 正在使充当领导者的 Spark Master 会话过期。因此,作为领导者的 Spark Master 收到此通知并故意关闭。

有人可以解释为什么做出关闭而不是重试的决定吗?

为什么 Kafka 在收到相同的到期通知时会重试连接到 Zookeeper?

您似乎遇到了问题 SPARK-15544 - Bouncing Zookeeper node causes Active spark master to exit

Shutting Down a single zookeeper node caused spark master to exit. The master should have connected to a second zookeeper node.

截至 2019 年 3 月,他们正在研究解决方案。想看什么时候解决的可以关注JIRA