2 hadoop + kafka 集群中的 zookeeper 服务器集群 - 这可能吗？

Question

我们的 Kafka 集群具有以下详细信息

3 台卡夫卡机器

3 个动物园管理员服务器

我们还有包含数据节点机器的 Hadoop 集群 所有应用程序都在使用 zookeeper 服务器，包括 kafka 机器

现在

我们要进行以下更改

我们想添加额外的 3 个 zookeeper 服务器，它们将位于一个单独的集群中

并且只有 kafka 机器会使用这个额外的 zookeeper 服务器

可以吗？

Answer 1

编辑 Hadoop 配置中的 ha.zookeeper.quorum 与 Kafka 配置中的 zookeeper.connect 分开，这样你就有两个独立的 Zookeeper 集群，是的。

但是，我认为 Ambari 或 Cloudera Manager 等不允许您一次查看或配置多个 Zookeeper 集群。

Answer 2

是的，这是可能的。 Kafka 使用 Zookeeper 执行各种分布式协调任务，例如决定哪个 Kafka broker 负责分配分区领导者，以及在 broker 中存储关于主题的元数据。

关闭kafka后，会使用工具将原来的zookeeper集群数据复制到新集群，这是一个zookeeper集群数据传输工具zkcopy

但是如果您的 Kafka 集群没有停止工作，您应该考虑将 Zookeeper 数据传输到其他 Zookeeper 服务器。