Spring-cloud-stream-kafka -- 越来越频繁"Attempt to heartbeat failed since group is rebalancing"
Spring-cloud-stream-kafka -- Getting frequent "Attempt to heartbeat failed since group is rebalancing"
我有一个 spring 引导应用程序,运行 25 个实例,有 25 个分区。
它使用消息并通过从缓存中获取数据并将结果值存入数据库来进行一些计算。
但该应用的性能非常差,即使有这么多实例,CPU 使用率也非常高。
每笔交易花费的最长时间为 6-8 秒,平均时间 --> 700 毫秒
在 Splunk 中,我在一分钟内看到这个 message: [Consumer clientId=consumer-2, groupId=TEST] Attempt to heartbeat failed since group is rebalancing thread_name: kafka-coordinator-heartbeat-thread | CG.LOGICALINVENTORY-TEST
大约 200 次。
我的问题是,为什么我经常收到这条消息??
这(频繁重新平衡)会导致性能不佳吗?
有什么想法吗??
增加max.poll.interval
and/or减少max.poll.records
(Kafka消费者属性)。
我有一个 spring 引导应用程序,运行 25 个实例,有 25 个分区。 它使用消息并通过从缓存中获取数据并将结果值存入数据库来进行一些计算。
但该应用的性能非常差,即使有这么多实例,CPU 使用率也非常高。 每笔交易花费的最长时间为 6-8 秒,平均时间 --> 700 毫秒
在 Splunk 中,我在一分钟内看到这个 message: [Consumer clientId=consumer-2, groupId=TEST] Attempt to heartbeat failed since group is rebalancing thread_name: kafka-coordinator-heartbeat-thread | CG.LOGICALINVENTORY-TEST
大约 200 次。
我的问题是,为什么我经常收到这条消息?? 这(频繁重新平衡)会导致性能不佳吗?
有什么想法吗??
增加max.poll.interval
and/or减少max.poll.records
(Kafka消费者属性)。