Spark 和 Zookeeper HA 的多个 Master
Mutiple Masters for Spark and Zookeeper HA
我正在尝试在独立模式下设置多主 spark 以实现高可用性。
我有 6 个节点集群：有 6 个 worker 和 2 个 master。
所有 6 个工人都出现在 Master 1 UI，而 spark master 2 没有列出任何工人？我还需要在 master 2 上启动 workers 吗？
或者 ZooKeeper 会在 master 1 出现故障时将工作的那些切换到 master 2 吗？
还有一件事是我在相同节点上为 kafka 设置了 ZooKeeper。现在我需要为 Spark 单独安装 ZooKeeper 吗？新的 ZooKeeper 是否需要与 Kafkas ZooKeeper 具有不同的端口号？
Will zookeeper switch those worked to master 2 in case of failure of master 1?
是的，会的。如果你 set up everything properly 可以杀死 master 1，等待几秒钟，你会看到 master 2 接管并看到所有可用的 worker 资源都移到那里。
Now do I need to install zookeeper separately for Spark?
这是您的团队需要做出的设计决策，但通常 ZooKeeper 被设计为多个应用程序的集中配置。在我们的生产环境中，我们有一个连接到 Kafka 和 Spark 的 ZooKeeper 集群。
我正在尝试在独立模式下设置多主 spark 以实现高可用性。
我有 6 个节点集群：有 6 个 worker 和 2 个 master。
所有 6 个工人都出现在 Master 1 UI，而 spark master 2 没有列出任何工人？我还需要在 master 2 上启动 workers 吗？
或者 ZooKeeper 会在 master 1 出现故障时将工作的那些切换到 master 2 吗？
还有一件事是我在相同节点上为 kafka 设置了 ZooKeeper。现在我需要为 Spark 单独安装 ZooKeeper 吗？新的 ZooKeeper 是否需要与 Kafkas ZooKeeper 具有不同的端口号？
Will zookeeper switch those worked to master 2 in case of failure of master 1?
是的，会的。如果你 set up everything properly 可以杀死 master 1，等待几秒钟，你会看到 master 2 接管并看到所有可用的 worker 资源都移到那里。
Now do I need to install zookeeper separately for Spark?
这是您的团队需要做出的设计决策，但通常 ZooKeeper 被设计为多个应用程序的集中配置。在我们的生产环境中，我们有一个连接到 Kafka 和 Spark 的 ZooKeeper 集群。