来自不同分区的 Kafka 多个消费者

Question

我有 4 个分区和 4 个消费者（例如 A、B、C、D）。 如何使用消费者组配置哪个消费者将从哪个分区读取。 我正在使用带 Spring 引导的 Kafka。

Answer 1

kafka默认会自动分配分区；如果同一组中有 4 个消费者，他们最终将各自获得一个分区。有配置 kafka 的属性，因此它不会在您提出消费者时立即进行分配。

您也可以自己分配分区。

正在使用

public ContainerProperties(TopicPartitionInitialOffset... topicPartitions)

如果您自己构建容器，或者

@KafkaListener(id = "baz", topicPartitions = @TopicPartition(topic = "${topic}",
            partitions = "${partition}"))

如果您正在使用 @KafkaListener。