Storm Kafka Spout 有非常高的延迟
Storm Kafka Spout has very high lag
我正在使用 Apache Storm 1.1.2 和 Kafka 0.11
在 Java 9 中构建一个 Spring 应用程序
我注意到在高负载（每秒 2500 条消息）下，kafka spout 具有非常高的延迟。 Kafka Spout 的并行度提示为 3。延迟几乎等于 Spout Committed Offset。
这个滞后设置了拓扑每秒可以接收的最大消息量上限，这不是很好。有人知道这个的解决方案吗？
更新：我还注意到，即使有 10 个工作人员和 4 个并行度提示，根据我在 UI 中可以看出的情况，负载也不会在不同的 kafka spout 执行器之间分配。该主题有8个分区
参见
我正在使用 Apache Storm 1.1.2 和 Kafka 0.11
在 Java 9 中构建一个 Spring 应用程序我注意到在高负载（每秒 2500 条消息）下，kafka spout 具有非常高的延迟。 Kafka Spout 的并行度提示为 3。延迟几乎等于 Spout Committed Offset。
这个滞后设置了拓扑每秒可以接收的最大消息量上限，这不是很好。有人知道这个的解决方案吗？
更新：我还注意到，即使有 10 个工作人员和 4 个并行度提示，根据我在 UI 中可以看出的情况，负载也不会在不同的 kafka spout 执行器之间分配。该主题有8个分区
参见