为什么 Apache Spark Master 在 Zookeeper 使会话过期时关闭
Why does Apache Spark Master shutdown when Zookeeper expires the session
据我了解,Apache Spark Master 可以 运行 使用 Zookeeper 处于高可用性模式。也就是说,多个 Spark master 可以 运行 在 Leader/Follower 模式下,这些模式已注册到 ZooKeeper。
在我们的场景中,ZooKeeper 正在使充当领导者的 Spark Master 会话过期。因此,作为领导者的 Spark Master 收到此通知并故意关闭。
有人可以解释为什么做出关闭而不是重试的决定吗?
为什么 Kafka 在收到相同的到期通知时会重试连接到 Zookeeper?
您似乎遇到了问题 SPARK-15544 - Bouncing Zookeeper node causes Active spark master to exit。
Shutting Down a single zookeeper node caused spark master to exit. The master should have connected to a second zookeeper node.
截至 2019 年 3 月,他们正在研究解决方案。想看什么时候解决的可以关注JIRA
据我了解,Apache Spark Master 可以 运行 使用 Zookeeper 处于高可用性模式。也就是说,多个 Spark master 可以 运行 在 Leader/Follower 模式下,这些模式已注册到 ZooKeeper。
在我们的场景中,ZooKeeper 正在使充当领导者的 Spark Master 会话过期。因此,作为领导者的 Spark Master 收到此通知并故意关闭。
有人可以解释为什么做出关闭而不是重试的决定吗?
为什么 Kafka 在收到相同的到期通知时会重试连接到 Zookeeper?
您似乎遇到了问题 SPARK-15544 - Bouncing Zookeeper node causes Active spark master to exit。
Shutting Down a single zookeeper node caused spark master to exit. The master should have connected to a second zookeeper node.
截至 2019 年 3 月,他们正在研究解决方案。想看什么时候解决的可以关注JIRA