Kafka 连接到只读提交的消息

Kafka connect to read only committed messages

我们有一个 kafka 主题,它从事务生产者那里读取消息。我们想设置 kafka connect consumer 只读取提交的消息。

由于我是 Kafka 的新手,我需要这里专家的一些帮助来设置它。根据我的初步研究,我知道我需要在我们的 kafka 属性中设置 isolation.level = read_committed。

现在我有以下问题

  1. 我指的是正确的 属性 吗?
  2. 如何在设置后测试我的 Kafka 连接器是否只读取已提交的消息?
  3. 我可以通过命令行查看 (LSO) Last Stable Offsetid 是什么吗?

我们在 /confluent/bin 个文件夹中放置了 kafka shell 个脚本。我的理解是我需要通过调用这些 shell 脚本来执行命令。

如果需要更多信息,请告诉我。

如有任何帮助,我们将不胜感激。谢谢!!!

Is this the correct property that I am referring? - 是

How can I test after setting this up my Kafka connector is reading only committed messages? - 您可以简单地在 Java 中编写一个 kafka 生产者,它在两个不同的事务中发布两条消息(T1 中的 m1 和 T2 中的 m2)。中止事务 T1 并提交事务 T2。在您的 read committed 连接器中,您应该只看到 m2 而不是 m1。

Through command line can I see what is the (LSO) Last Stable Offsetid? - 如果你所说的稳定是指上次读取提交的偏移量,我 认为 这是不可能的。您可以按照此处的说明获取最后一个偏移量:Number of commits and offset in each partition of a kafka topic