设置 retention.ms 时 Kafka 没有删除数据

Question

所以当我寻找一种方法来计算主题中的消息时，这个很好

kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1

唯一的问题是，当我将 retention.ms 配置更改为 retention.ms=1000 时，甚至检查主题是否已由运行ning kafka-topics --describe --zookeeper zookeeper1:2181 --topic rev-dly-upd 配置。我可以清楚地看到该配置设置为 1000...

Topic:rev-dly-upd   PartitionCount:8    ReplicationFactor:3 Configs:retention.ms=1000
    Topic: rev-dly-upd  Partition: 0    Leader: 159 Replicas: 159,96,160    Isr: 159,96,160
    Topic: rev-dly-upd  Partition: 1    Leader: 160 Replicas: 160,159,94    Isr: 94,160,159
    Topic: rev-dly-upd  Partition: 2    Leader: 94  Replicas: 94,160,95 Isr: 95,94,160
    Topic: rev-dly-upd  Partition: 3    Leader: 95  Replicas: 95,94,96  Isr: 95,96,94
    Topic: rev-dly-upd  Partition: 4    Leader: 96  Replicas: 96,95,159 Isr: 95,96,159
    Topic: rev-dly-upd  Partition: 5    Leader: 159 Replicas: 159,160,94    Isr: 159,94,160
    Topic: rev-dly-upd  Partition: 6    Leader: 160 Replicas: 160,94,95 Isr: 94,160,95
    Topic: rev-dly-upd  Partition: 7    Leader: 94  Replicas: 94,95,96  Isr: 95,96,94

然而当我运行 kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1 all 我总是得到返回的记录。可能是什么原因？

Answer 1

基本上我不得不停止使用 kafka-run-class kafka.tools.GetOffsetShell 来计算主题中的消息。如果你 google "how to count messages in kafka topic"，很多帖子和事情会让你认为上面的命令，给定正确的参数，会给你一个消息总数。但是，如果您在主题的生命周期内清除了消息，那么它不会为您提供准确的计数。你只需要做一些事情，比如打开一个控制台消费者，输出到文本文件，然后用老式的 wc -l 读取该文件的行。

设置 retention.ms 时 Kafka 没有删除数据

Kafka not getting rid of data when setting retention.ms

apache-kafka

kafka-consumer-api

kafka-producer-api

kafka-topic