了解卡夫卡 log.dirs

Question

我有 Kafka 集群和 log.dirs=/data/kafka设置为server.properties中的数据目录。 由于这些日志占据了很大一部分，我的数据分区一直变满。 （谈论主题目录中的二进制日志，如 000000000000000.log） 我阅读了有关此参数的文档 (log.dirs存放日志数据的目录，不设置则使用log.dir中的值)

我还没有完全理解意思 此外，它们是否可以删除，应该配置哪些保留？是否建议将其与数据目录分开？ 谢谢

Answer 1

Kafka Topic 是一个或多个 Kafka 分区的逻辑分组。每个 kafka 分区本质上是 (log) file/s 在磁盘上。所以你发布的kafka的数据只存储在这些文件（logs）中。

log.dirs 告诉kafka在哪里创建这些文件。因此，每当您有一个新分区（通过增加现有主题的分区或完全创建一个新主题）时，您都会在 log.dirs 中看到新的 file/s。 =10=]

您应该不手动删除此文件夹中的数据。使用 log.retention.hours 配置 Kafka 保存数据的时间。