如何将工作流添加到 Kafka 消息中？

Question

我正在将我的 java 项目从 Rabbit MQ 迁移到 Kafka（出于某些原因）。

但是，我面临一个困难。

在目前的工作流程中，我post所有的消息都到rabbit mq exchange，并根据消息的routing key，将消息重定向到一个或多个队列。 我也想在 Kafka 中保留相同的功能。 （我知道 kafka 最初并不适合它，但我想要一个解决方法）。

基本上，我想要这样的东西：每当主题收到一条消息时，根据消息中存在的元，应该将消息重定向到其他主题集。

实现此目标最快的方法是什么？我更喜欢 python 或 java 解决方案

谢谢

Answer 1

如果您使用密钥发布 Kafka 消息，它们将被定向到主题分区，这样所有相似的密钥都将转到同一分区。

或者，您可以使用 Kafka Streams 读取输入主题，并根据消息提供的键将消息路由到一组输出主题。