如果从副本节点消费,Kafka 可扩展性
Kafka scalability if consuming from replica node
在数据复制 > 1 的集群场景中,为什么我们必须始终从分区的 master/leader 消费,而不是能够从包含副本的 replica/follower 节点消费这个主节点的?
我知道 Kafka 总是将请求路由到主节点(那个特定的 partition/topic)但这不会影响可伸缩性(因为所有请求都转到一个节点)?如果我们可以从包含副本信息的任何节点读取而不一定是主节点,那不是更好吗?
您可以从中 write/read 数据的分区领导者副本在可用代理之间均匀分布。无论如何,您可能还想利用 KIP-392 中描述的“从最近的副本获取”功能,该功能自 Kafka 2.4.0 起可用。
在数据复制 > 1 的集群场景中,为什么我们必须始终从分区的 master/leader 消费,而不是能够从包含副本的 replica/follower 节点消费这个主节点的?
我知道 Kafka 总是将请求路由到主节点(那个特定的 partition/topic)但这不会影响可伸缩性(因为所有请求都转到一个节点)?如果我们可以从包含副本信息的任何节点读取而不一定是主节点,那不是更好吗?
您可以从中 write/read 数据的分区领导者副本在可用代理之间均匀分布。无论如何,您可能还想利用 KIP-392 中描述的“从最近的副本获取”功能,该功能自 Kafka 2.4.0 起可用。