如果我在 Kafka 中有事务性生产者,我可以使用 Kafka Streams 只读取一次消息吗?
If I have Transactional Producer in Kafka can I read exactly once messages with Kafka Streams?
我想要 Exactly-once 语义,但我不想使用 Consumer 读取消息。我宁愿使用 Kafka Streams AP 阅读消息。如果我将 processing.guarantee=exactly_once 添加到 Stream 配置中,是否会保留 exactly-once 语义?
恰好一次处理基于读取-处理-写入模式。 Kafka Streams 使用这种模式,因此,如果您编写一个将结果写回 Kafka 主题的常规 Kafka Streams 应用程序,您将获得恰好一次处理保证。
请注意,此保证不涵盖副作用。另请注意,如果失败,可能会在内部重试。 Exactly-once 意味着,您在输出主题中看到的结果与没有错误(因此不会重试)一样。
有关更多详细信息,您可能想观看有关 Kafka 中恰好一次保证的谈话录音。 Confluent 网页上有多个可用 (免责声明:我是 Confluent 的员工):https://www.confluent.io/resources/
我想要 Exactly-once 语义,但我不想使用 Consumer 读取消息。我宁愿使用 Kafka Streams AP 阅读消息。如果我将 processing.guarantee=exactly_once 添加到 Stream 配置中,是否会保留 exactly-once 语义?
恰好一次处理基于读取-处理-写入模式。 Kafka Streams 使用这种模式,因此,如果您编写一个将结果写回 Kafka 主题的常规 Kafka Streams 应用程序,您将获得恰好一次处理保证。
请注意,此保证不涵盖副作用。另请注意,如果失败,可能会在内部重试。 Exactly-once 意味着,您在输出主题中看到的结果与没有错误(因此不会重试)一样。
有关更多详细信息,您可能想观看有关 Kafka 中恰好一次保证的谈话录音。 Confluent 网页上有多个可用 (免责声明:我是 Confluent 的员工):https://www.confluent.io/resources/