在kafka_connect配置__consumer_offset减少space
Configure __consumer_offset in kafka_connect to reduce space
我读到在 broker 上有一个配置可以设置偏移量数据在 offset.retention.minutes 中保留多长时间。我的 Kafka 架构由 3 个 ZK、3 个 Brokers 和 2 个 kafka connect worker 组成。我使用的设置带有此 。我已将此配置设置为 10 分钟，但没有任何效果，我仍然有错误，因为我的磁盘已满，我认为 __consumer_offset 是罪魁祸首。
以下语句来自Kafka文档。
在消费者组失去所有消费者（即变空）后，它的偏移量将在这个保留期内保留，然后被丢弃。对于独立消费者（使用手动分配），偏移量将在 上次提交加上此保留期 后过期。
In Kafka 2.4.0 release, an improvement KAFKA-8730 has been added which provides the functionality to manually delete the _consumer_offset ( KIP-496 )
在KafkaAdminClient class中，同样提供了deleteConsumerGroupOffsets函数。请浏览以下 URL 以获得详细信息。
https://github.com/apache/kafka/pull/7276
希望对你有希望。
我已经做了一些关于消费者抵消设置的影响的研究。不仅 consumer_offset 会影响磁盘 space 消耗，还会影响主题保留时间。因此，就我而言，我使用基于大小和时间的保留而不是仅设置大小或时间。
我读到在 broker 上有一个配置可以设置偏移量数据在 offset.retention.minutes 中保留多长时间。我的 Kafka 架构由 3 个 ZK、3 个 Brokers 和 2 个 kafka connect worker 组成。我使用的设置带有此 __consumer_offset 是罪魁祸首。
以下语句来自Kafka文档。
在消费者组失去所有消费者（即变空）后，它的偏移量将在这个保留期内保留，然后被丢弃。对于独立消费者（使用手动分配），偏移量将在 上次提交加上此保留期 后过期。
In Kafka 2.4.0 release, an improvement KAFKA-8730 has been added which provides the functionality to manually delete the _consumer_offset ( KIP-496 )
在KafkaAdminClient class中，同样提供了deleteConsumerGroupOffsets函数。请浏览以下 URL 以获得详细信息。
https://github.com/apache/kafka/pull/7276
希望对你有希望。
我已经做了一些关于消费者抵消设置的影响的研究。不仅 consumer_offset 会影响磁盘 space 消耗，还会影响主题保留时间。因此，就我而言，我使用基于大小和时间的保留而不是仅设置大小或时间。