Kafka Stream 输出速率不符合 window
Kafka Stream output rate is not as per the window
我正在使用 Kafka 流执行聚合以查找 windowed 平均值。 ( 3 秒 window 大小)
我尝试了翻滚 window 和希望 window ,但输出主题每 30 秒才有结果,而不是每 3 秒。
我将 window 大小更改为更高的值(1 分钟)和更低的值(1 秒)。总而言之,输出生成速度接近 25 到 30 秒。内部 window 尺寸正确。
Kafka中是否有任何配置可以提高输出生成速度。
Kafka 流将生成约 30 秒的输出,因为流配置 StreamsConfig.COMMIT_INTERVAL_MS_CONFIG 默认为 30000 毫秒。
我相信 COMMIT_INTERVAL_MS_CONFIG 也决定了完成 kafka-streams 任务并将其发布到目标主题所花费的时间。
请参考以下Kafka文档中提到的配置:
https://kafka.apache.org/25/documentation/streams/developer-guide/config-streams.html
我正在使用 Kafka 流执行聚合以查找 windowed 平均值。 ( 3 秒 window 大小)
我尝试了翻滚 window 和希望 window ,但输出主题每 30 秒才有结果,而不是每 3 秒。
我将 window 大小更改为更高的值(1 分钟)和更低的值(1 秒)。总而言之,输出生成速度接近 25 到 30 秒。内部 window 尺寸正确。
Kafka中是否有任何配置可以提高输出生成速度。
Kafka 流将生成约 30 秒的输出,因为流配置 StreamsConfig.COMMIT_INTERVAL_MS_CONFIG 默认为 30000 毫秒。
我相信 COMMIT_INTERVAL_MS_CONFIG 也决定了完成 kafka-streams 任务并将其发布到目标主题所花费的时间。
请参考以下Kafka文档中提到的配置:
https://kafka.apache.org/25/documentation/streams/developer-guide/config-streams.html