Flink - 如何通过 JMX Reporter 导出 flink 的 kafka 连接器偏移量？

Question

根据 here，我启用了 JMX Exporter 并能够连接到它以查看一些指标：jobmanager.Status、jobmanager.job。

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 8789

但是，我没有看到 KafkaConnector 的指标（commitedOffets、currentOffsets）。 我该怎么做？

我想从 Flink 获取这些偏移量来计算

consumer lag = latest kafka partitions offsets - flink partition offsets.

Answer 1

我找到了答案。 flink-conf.yaml 中的 JMX 端口配置应该是一个范围 (9250-9260)，而不是 1 个端口号。 Flink 至少需要 2 个端口才能同时为 JobManager 和 TaskManager 导出指标。

metrics.reporter.jmx.class: org.apache.flink.metrics.jmx.JMXReporter
metrics.reporter.jmx.port: 9250-9260

如果只指定了1个端口（问题中的8789），则只会导出JobManager的指标。 KafkaConnector 的指标属于 TaskManager 的指标，因此不会出现。

Flink - how to export flink's kafka connector offsets via JMX Reporter?