删除不用的kafka消费者组

Question

我将 Apache Kafka 0.10 与压缩主题一起用作 分布式缓存同步机制 。当应用程序启动时，它会生成一个特定的实例 consumer group id。由于为了水平可伸缩性而添加和删除实例，显然我们得到了大量不应再次使用的组 ID。

我确信这是 KStreams 和 KTables 的完美用例，但出于智力原因以及 KStreams和 KTables 被定义为 0.10 中的 alpha 质量。

是否有我可以使用的 Kafka API 调用可以删除现有的消费者组，并且知道它永远不会被再次使用？

由于 Zookeeper 在 0.10 版本中不维护消费者偏移量，有没有办法使用 Kafka 删除消费者组？

Answer 1

从 Kafka 0.9 开始，内部主题用于存储提交的偏移量。您可以通过 offsets.retention.minutes 配置这些偏移量应保留多长时间。（另请参阅 offsets.retention.check.interval.ms）。

Answer 2

It's possible with CLI in Kafka

./bin/kafka-consumer-groups \
    --bootstrap-server <bootstrap_server(s)> \
    --topic <topic_name> \
    --delete \
    --group <consumer_group_name>

kafka-consumer-groups 应该在 Kafka 安装主页中可用。

删除不用的kafka消费者组

Delete unused kafka consumer group

apache-kafka

kafka-consumer-api

apache-kafka-streams