如果我将 log.segment.delete.delay.ms 设置为 0,我可以破坏任何东西吗
Can I break anything if I set log.segment.delete.delay.ms to 0
我正在尝试对主题的大小设置绝对限制,这样它就不会在写入速度异常高的情况下填满磁盘。
大多数情况下,这相当于一些计算,例如 segment=min(1GB, 0.1 * $max_space / $partitions)
和设置 retention.bytes=($max_space / $partitions - $segment),segment.bytes=$segment
以及减少 log.retention.check.interval.ms
。 (您甚至可以尝试一些绝技,例如确定您的最大写入速率(磁盘或网络限制),然后减去基于此的安全边际和 log.retention.check.interval.ms
,也许还有 10MB 头索引文件的一些绝对偏移量。)在其他问题中讨论过,我不是在问任何一个。
我想知道 log.segment.delete.delay.ms
的用途,以及是否可以安全地将其设置为 0(或某个非常小的值 - 5?)。该文档仅说明“从文件系统中删除文件之前等待的时间”。我想知道您为什么要这样做,即什么或谁从非 0 的这段时间中受益。
此配置可用于确保您的主题的消费者在消息被删除之前实际上有时间使用该消息。
此配置声明在通过 log.retention.bytes
或 log.retention.ms
设置的 time-based 或 size-based 清理策略触发 LogCleaner 时应用的延迟。
特别是当您根据数据大小计算保留时,此配置可以帮助您设置一条消息被删除之前的最短时间,并允许消费者在这段时间内实际使用该消息。
我正在尝试对主题的大小设置绝对限制,这样它就不会在写入速度异常高的情况下填满磁盘。
大多数情况下,这相当于一些计算,例如 segment=min(1GB, 0.1 * $max_space / $partitions)
和设置 retention.bytes=($max_space / $partitions - $segment),segment.bytes=$segment
以及减少 log.retention.check.interval.ms
。 (您甚至可以尝试一些绝技,例如确定您的最大写入速率(磁盘或网络限制),然后减去基于此的安全边际和 log.retention.check.interval.ms
,也许还有 10MB 头索引文件的一些绝对偏移量。)在其他问题中讨论过,我不是在问任何一个。
我想知道 log.segment.delete.delay.ms
的用途,以及是否可以安全地将其设置为 0(或某个非常小的值 - 5?)。该文档仅说明“从文件系统中删除文件之前等待的时间”。我想知道您为什么要这样做,即什么或谁从非 0 的这段时间中受益。
此配置可用于确保您的主题的消费者在消息被删除之前实际上有时间使用该消息。
此配置声明在通过 log.retention.bytes
或 log.retention.ms
设置的 time-based 或 size-based 清理策略触发 LogCleaner 时应用的延迟。
特别是当您根据数据大小计算保留时,此配置可以帮助您设置一条消息被删除之前的最短时间,并允许消费者在这段时间内实际使用该消息。