为了支持 18 个 kafka 机器,我们需要多少个 zookeper 服务器

how many zookeper servers we need in order to support 18 kafka machines

6 台 kafka 机器(它们是物理机器 - DELL HW)

3 个动物园管理员服务器

我们想在集群中添加12台kafka机器

在那种情况下应该有多少个 zookeeper 服务器?

为了支持18台kafka机器?

好吧,你的问题是用 Hadoop 标记的,但仅对于 Kafka,3 将 "work",但 5-7 是 "better"。

但是,这些应该是专用 Kafka 的 Zookeeper 服务器,不与 共享namenode、Hive、HBase等Hadoop服务,尤其是30+台Hadoop服务器级别。这是因为 Zookeeper 的延迟非常特殊,需要大量内存来处理这些类型的进程。

这可以在具有特定服务器配置的 Ambari 中轻松完成,但不允许 Ambari 使用其模板来填充它跟踪的单个 Zookeeper 仲裁(在每个服务中找到它有点痛苦,它真的不值得使用Ambari 完全用于配置,而是 Puppet 或 Ansible 等,但我离题了)

请记住,您的集群将有 1/3 完全不平衡,添加代理不会移动现有数据或导致副本分配给现有主题的新代理