如何在 kubernetes 上扩展 Kafka Streams 应用 运行

How do I scale Kafka Streams app running on kubernetes

我有一个在 Kube 集群中的 pod 上运行的 kafka 流应用程序。

试图找到一种方法让 Kube 扩展 up/down 基于 kafka 主题延迟的 pods。

有没有人走过这条路并愿意分享一些细节?

对于基于延迟的扩展,您的应用应该能够发布指标(例如使用千分尺)使用仪表类型(仪表 https://micrometer.io/docs/concepts#_gauges

然后您需要使用监控系统(例如 prometheus)收集指标

根据 meter/metric 的值缩放 up/down。

(将此示例项目作为示例 https://github.com/learnk8s/spring-boot-k8s-hpa

注意:但请将我的评论视为允许的最大消费者数 >= 主题分区数