Storm Kafka 喷口不发出消息
Storm Kafka spout not emitting messages
在我的风暴拓扑(有 2 个喷口和 1 个螺栓)中,其中一个 kafka-spout 消费者的偏移量正在推进,但消息没有通过 kafka 喷口发送到螺栓。我可以在风暴 ui 中看到,对于那个特定的 spout,发出和传输的消息是 0。
所以,我的问题是消费者是如何推进的,我可以看到消费者从zookeeper客户端的偏移量逐渐增加。
后来我发现上述行为的原因是因为注册的序列化器过滤掉了kafka队列中的所有消息,因此没有消息从spout发送到bolt。这也解释了为什么kafka主题消费者组的偏移量在逐渐增加。
在我的风暴拓扑(有 2 个喷口和 1 个螺栓)中,其中一个 kafka-spout 消费者的偏移量正在推进,但消息没有通过 kafka 喷口发送到螺栓。我可以在风暴 ui 中看到,对于那个特定的 spout,发出和传输的消息是 0。 所以,我的问题是消费者是如何推进的,我可以看到消费者从zookeeper客户端的偏移量逐渐增加。
后来我发现上述行为的原因是因为注册的序列化器过滤掉了kafka队列中的所有消息,因此没有消息从spout发送到bolt。这也解释了为什么kafka主题消费者组的偏移量在逐渐增加。