如何让kafka连接上次失败的消息

Question

我在独立模式下使用 Elastic search Kafka 连接。 我对使用哪种配置来启动 Kafka 连接并从最后一个故障点恢复不感到困惑。

例如，当 Elastic Search 接收器连接器正在消耗时，生产者将继续将记录推送到 Kafka 和消费者中，现在由于某种原因我的消费者出现故障，但我的骄傲仍然会继续将消息推送到 Kafka 中。 现在，当我在 ES 接收器连接器端修复了我的问题，如果我重新启动 ES 接收器连接器，它应该从上次失败中选择，而不是从开始或最近，而是从上次失败中选择。 如果失败后收到了 10 条消息，那么当 ES 接收器连接器启动时，它应该首先接收 10 条，然后是最新的 .

请帮忙配置。

Answer 1

Kafka Connect 充当任何其他 Kafka 消费者。当您重新启动时，消费者将倒回到上次提交的偏移位置。这是默认行为，在 Connect 中没有更改它的设置。