基本的kafka主题可用性检查器

Basic kafka topic availability checker

我需要 Apache Kafka 的简单健康检查器。我不想要像 Yahoo Kafka Manager 这样大而复杂的东西,基本上我想检查一个主题是否健康以及消费者是否健康。

我的第一个想法是创建一个单独的 heart-beat 主题并定期发送和阅读消息 to/from 它以检查可用性和延迟。

第二个思路是读取Apache Zookeeper中的所有数据。我可以从 ZK 获取所有代理、分区、主题等,但我不知道 ZK 是否可以提供诸如故障检测信息之类的东西。

正如我所说,我需要一些可以在我的应用健康检查器中使用的简单工具。

一些现有的 工具 如果您还没有,可以尝试一下 -

Burrow Linkedin 的 Kafka 消费者延迟检查

exhibitor Netflix 的 ZooKeeper 协同进程,用于实例监控、backup/recovery、清理和可视化。

Kafka System Tools Kafka 命令行工具