如何用kafka扩展Zookeeper

Question

我正在努力扩展 Prod 中的 kafka 集群。 Confluent 提供了添加 kafka 代理的简单方法。但是，我怎么知道如何将 zookeeper 与 Kafka 一起扩展。比例应该是多少？现在我们有 5 个 5 个 kafka 代理的 5 个动物园管理员节点。如果我有 10 个 kafka 代理，应该有多少个 zookeeper 节点？

Answer 1

Zookeeper 用作 Apache Kafka 的协调服务，它存储 kafka 集群的元数据。 Zookeeper 集群称为 ensemble。

zookeeper 集群中的服务器数量是奇数（3,5 等）。这些数字表示您的集群有多少故障 tolerant.A 三节点集群，您可以 运行缺少一个节点。

使用五个节点集成，您可以 运行 缺少两个节点，您的集群将可用。

您可以根据您希望系统在故障发生时发挥作用的程度来添加任意数量的 ZooKeeper 服务器，但不建议使用超过 7 个节点的 ZooKeeper 集群，因为这些节点之间存在延迟开销和过度通信的问题节点。