如何为并行消费管理 Kafka 偏移重置？

Question

想进一步了解Kafka消息重试流程。 我听说使用 2 个选项可以解决处理已消费消息的失败问题：

1. SeekToCurrentErrorHandler（偏移重置）
2. 向死信队列 (DLQ) 发布消息

第二个选项很明确，如果消息处理失败，它会被简单地推送到错误队列。我比较好奇第一个选项

据我所知，第一个选项是使用最广泛的选项，但是当多个消费者同时使用来自同一主题的消息时它是如何工作的呢？如果特定消息失败，消费者 ID 的偏移量将重置为消息的偏移量，这是否有效？成功处理的邮件会怎样 simultaneously/after 失败的邮件会重新处理吗？

你如何建议我处理消息重试？

Answer 1

每个分区只能被一个消费者消费。

当您有多个消费者时，您必须至少有该数量的分区。

为每个分区维护偏移量；错误处理程序将（可以）仅对分配给此使用者的分区执行查找。