单个 zookeeper 集合上的多个 kafka 集群
multiple kafka clusters on single zookeeper ensemble
我目前有一个 3 节点的 Kafka 集群,它连接到我的 zookeeper 集合中的基本 chroot 路径。
zookeeper.connect=172.12.32.123:2181,172.11.43.211:2181,172.18.32.131:2181
现在,我想添加一个新的 5 节点 Kafka 集群,它将连接到同一 zookeeper 集合中的其他一些 chroot 路径。
zookeeper.connect=172.12.32.123:2181,172.11.43.211:2181,172.18.32.131:2181/cluster/2
这些配置在两个 chroot 的相对路径中是否有效?我知道原来的 Kafka 集群应该已经连接到除了基本 chroot 路径之外的其他路径上,以便更好地隔离。
此外,在 Kafka 集群中使用相同的 zookeeper 集成是否好? documentation 说通常最好为不同的集群设置隔离的 zookeeper 集成。
如果您仅限于单个 Zookeeper 集群,那么使用不会与其他集群的 znode 冲突的唯一 chroot 应该可以正常工作。
不"good"分享,不,因为 Zookeeper 失去法定人数会导致两个集群宕机,但如果您的硬件有限,它仍然可以工作
注意:集群中有 3 个节点的 ZK 服务器只能丢失一个,这就是为什么建议使用 5 个节点的集群
我目前有一个 3 节点的 Kafka 集群,它连接到我的 zookeeper 集合中的基本 chroot 路径。
zookeeper.connect=172.12.32.123:2181,172.11.43.211:2181,172.18.32.131:2181
现在,我想添加一个新的 5 节点 Kafka 集群,它将连接到同一 zookeeper 集合中的其他一些 chroot 路径。
zookeeper.connect=172.12.32.123:2181,172.11.43.211:2181,172.18.32.131:2181/cluster/2
这些配置在两个 chroot 的相对路径中是否有效?我知道原来的 Kafka 集群应该已经连接到除了基本 chroot 路径之外的其他路径上,以便更好地隔离。
此外,在 Kafka 集群中使用相同的 zookeeper 集成是否好? documentation 说通常最好为不同的集群设置隔离的 zookeeper 集成。
如果您仅限于单个 Zookeeper 集群,那么使用不会与其他集群的 znode 冲突的唯一 chroot 应该可以正常工作。
不"good"分享,不,因为 Zookeeper 失去法定人数会导致两个集群宕机,但如果您的硬件有限,它仍然可以工作
注意:集群中有 3 个节点的 ZK 服务器只能丢失一个,这就是为什么建议使用 5 个节点的集群