如何获取我的 Kafka 主题的负载。有没有 API 可以用来测量我的 Kafka 主题的负载?
How to get Load of my Kafka Topic. Is there any API with which I can measure the load on my Kafka Topic?
我的 spring 引导应用程序上有一个 Kafka 主题,我正在从生产者那里发送一些数据。我想检查我的主题的负载,以便我可以创建新主题,如果上一个主题的负载超过
主题没有传统意义上的“负载”。当然,您可以使用 JMX 指标来测量传入的字节速率,但这是网络负载,由 broker 测量。您还可以按每个分区 生产者 测量传出率,并按主题聚合以获取数据。
托管分区的代理确实有负载;可测量的网络、磁盘和 CPU 负载。
其次,您的制作人都需要进行更新才能将数据实际发送到您创建的那些新主题;他们和经纪人都不知道向他们“分配负载”。
减少broker负载、将数据分布到更多broker的正确方法是增加集群大小,而扩展生产的正确方法是添加更多分区。
我的 spring 引导应用程序上有一个 Kafka 主题,我正在从生产者那里发送一些数据。我想检查我的主题的负载,以便我可以创建新主题,如果上一个主题的负载超过
主题没有传统意义上的“负载”。当然,您可以使用 JMX 指标来测量传入的字节速率,但这是网络负载,由 broker 测量。您还可以按每个分区 生产者 测量传出率,并按主题聚合以获取数据。
托管分区的代理确实有负载;可测量的网络、磁盘和 CPU 负载。
其次,您的制作人都需要进行更新才能将数据实际发送到您创建的那些新主题;他们和经纪人都不知道向他们“分配负载”。
减少broker负载、将数据分布到更多broker的正确方法是增加集群大小,而扩展生产的正确方法是添加更多分区。