Kafka - 消费者/生产者与所有 Zookeper 实例一起工作

Question

我已经使用 kafka_2.11-1.1.0 分发存档配置了一个 Kafka 代理集群和一个 Zk 实例集群。

对于 Kafka 代理，我配置了 config/server.properties

broker.id=1,2,3
zookeeper.connect=box1:2181,box2:2181,box3:2181

对于 Zk 实例，我配置了 config/zookeeper.properties:

server.1=box1:2888:3888
server.2=box3:2888:3888
server.3=box3:2888:3888

我已经创建了一个基本的生产者和一个基本的消费者，我不知道为什么即使我关闭了所有的 Zookeeper 我也能写消息/读消息实例并启动所有 Kafka 代理运行。即使启动新的消费者，生产者也可以毫无问题地工作。

我认为拥有 Zk 实例的法定人数是 Kafka 集群的关键。

对于消费者和生产者，我使用了以下配置：

bootrapServers=box1:9092,box2:9092,box3:9092

谢谢

Answer 1

I thought having a quorum of Zk instances is a vital point for a Kafka cluster.

Zookeeper 仲裁对于管理分区列表、领导者等至关重要。通常，ZK 是集群中由集群协调器完成的管理所必需的。

基本上，现在（ZK 关闭），您无法修改主题（因为分区元数据存储在 ZK 中）、启动/关闭代理（因为它们使用 ZK 进行发现）和其他类似操作。

Even booting up new consumers, producers works without any issue.

Producer/consumer 操作仅针对经纪人。 broker 实例仍然可以附加到日志，并且仍然可以与其他 broker 通信以进行复制。因此可以发送消息，让代理接收并保存到磁盘，其他代理复制（因为他们不断向领导者发送获取请求（并且他们知道这个分区的领导者是谁，因为他们在 ZK 时保存了该数据仍然是运行)).

Kafka - 消费者/生产者与所有 Zookeper 实例一起工作

Kafka - consumers / producers works with all Zookeper instances down

apache-kafka

apache-zookeeper