如何在 kubernetes 上扩展 Kafka Streams 应用 运行
How do I scale Kafka Streams app running on kubernetes
我有一个在 Kube 集群中的 pod 上运行的 kafka 流应用程序。
试图找到一种方法让 Kube 扩展 up/down 基于 kafka 主题延迟的 pods。
有没有人走过这条路并愿意分享一些细节?
对于基于延迟的扩展,您的应用应该能够发布指标(例如使用千分尺)使用仪表类型(仪表 https://micrometer.io/docs/concepts#_gauges)
然后您需要使用监控系统(例如 prometheus)收集指标
根据 meter/metric 的值缩放 up/down。
(将此示例项目作为示例 https://github.com/learnk8s/spring-boot-k8s-hpa)
注意:但请将我的评论视为允许的最大消费者数 >= 主题分区数
我有一个在 Kube 集群中的 pod 上运行的 kafka 流应用程序。
试图找到一种方法让 Kube 扩展 up/down 基于 kafka 主题延迟的 pods。
有没有人走过这条路并愿意分享一些细节?
对于基于延迟的扩展,您的应用应该能够发布指标(例如使用千分尺)使用仪表类型(仪表 https://micrometer.io/docs/concepts#_gauges)
然后您需要使用监控系统(例如 prometheus)收集指标
根据 meter/metric 的值缩放 up/down。
(将此示例项目作为示例 https://github.com/learnk8s/spring-boot-k8s-hpa)
注意:但请将我的评论视为允许的最大消费者数 >= 主题分区数