可以为 Spring Kafka DLQ 设置较低的分区数吗?
Possible to set lower partition count for Spring Kafka DLQ?
我们正在研究优化磁盘 space 使用的选项。在这样做的同时,我们正在查看 kafka 分区的保留磁盘 space。现在,错误主题使用与原始主题相同数量的分区。我们实际上并不需要分区错误主题,kafka 为每个分区分配了大量 space。
所以问题是,是否可以使用最近引入的配置 dlqProducerProperties
为 dlq 设置较低的分区数?
当我们将一些较低的分区计数破解到代码中时,我们遇到了一些问题,即由于目标分区不匹配,消息无法移动到 dlq。我猜原始消息的分区索引被重用以将其移动到 dlq 目的地(移动到相同的分区索引),但它只有 1 个而不是 9 个分区。这是 kafka 客户端或 spring 云流的限制吗?
活页夹当前将分区 1:1 映射到 DLQ 主题;这是为了保留订单(对于那些关心的用户)。
在 Apache Kafka 项目(由活页夹使用)的 Spring 中,the DeadLetterPublishingRecoverer
has a configurable destination resolver 允许将死信发送到 DLQ 主题中的不同分区。
但是,活页夹当前未使用它(其中死信早于核心项目中的支持)。
请打开一个新功能GitHub issue against the binder。
我们正在研究优化磁盘 space 使用的选项。在这样做的同时,我们正在查看 kafka 分区的保留磁盘 space。现在,错误主题使用与原始主题相同数量的分区。我们实际上并不需要分区错误主题,kafka 为每个分区分配了大量 space。
所以问题是,是否可以使用最近引入的配置 dlqProducerProperties
为 dlq 设置较低的分区数?
当我们将一些较低的分区计数破解到代码中时,我们遇到了一些问题,即由于目标分区不匹配,消息无法移动到 dlq。我猜原始消息的分区索引被重用以将其移动到 dlq 目的地(移动到相同的分区索引),但它只有 1 个而不是 9 个分区。这是 kafka 客户端或 spring 云流的限制吗?
活页夹当前将分区 1:1 映射到 DLQ 主题;这是为了保留订单(对于那些关心的用户)。
在 Apache Kafka 项目(由活页夹使用)的 Spring 中,the DeadLetterPublishingRecoverer
has a configurable destination resolver 允许将死信发送到 DLQ 主题中的不同分区。
但是,活页夹当前未使用它(其中死信早于核心项目中的支持)。
请打开一个新功能GitHub issue against the binder。