Kafka:谁维护消费者组读取到哪个偏移量消息?
Kafka: Who maintains that upto which offset number message is read by a consumer group?
我知道 Kafka 队列分区中的所有消息(或偏移量)都有其偏移量编号,它负责偏移量的顺序。
但是,如果我有一个正在读取特别是 Kafka 主题分区的 Kafka 消费者组(或单个 Kafka 消费者),那么它如何维护读取的偏移量消息以及谁维护这个偏移量计数器?
如果消费者出现故障,那么新消费者将如何从下一个未读(或未确认)偏移量开始读取偏移量。
Consumer Groups的信息全部存储在Kafka内部topic__consumer_offsets
中。每当一个新组试图从一个主题中读取数据时,它会检查其在该内部主题中的偏移位置,该内部主题的删除策略设置为紧凑。压缩使这个主题变小。
Kafka 附带了一个命令行工具kafka-consumer-groups.sh
,可以帮助您了解为每个消费者组存储了哪些信息。
有关偏移跟踪的 Kafka Documentation 中提供了更多信息。
我知道 Kafka 队列分区中的所有消息(或偏移量)都有其偏移量编号,它负责偏移量的顺序。 但是,如果我有一个正在读取特别是 Kafka 主题分区的 Kafka 消费者组(或单个 Kafka 消费者),那么它如何维护读取的偏移量消息以及谁维护这个偏移量计数器? 如果消费者出现故障,那么新消费者将如何从下一个未读(或未确认)偏移量开始读取偏移量。
Consumer Groups的信息全部存储在Kafka内部topic__consumer_offsets
中。每当一个新组试图从一个主题中读取数据时,它会检查其在该内部主题中的偏移位置,该内部主题的删除策略设置为紧凑。压缩使这个主题变小。
Kafka 附带了一个命令行工具kafka-consumer-groups.sh
,可以帮助您了解为每个消费者组存储了哪些信息。
有关偏移跟踪的 Kafka Documentation 中提供了更多信息。