flink - 测量背压
flink - measuring backpressure
我正在使用 Flink 进行一些测试，以与其他一些流媒体平台进行比较。测试的数据源是一个具有不同流量的 kafka 主题，我试图弄清楚 flink 是否跟上。
有没有办法知道 'backpressure' flink 对 kafka 消费者的影响？ IE跟得上吗？
Apache Kafka 项目提供了一些工具来从 Zookeeper 中获取主题和消费者信息。
在这种情况下，您可以使用 ConsumerOffsetChecker.
工具要输出给你的是"offset lag"，也就是分区中最新的偏移量与当前消费者位置的差值。
请注意，Flink 大致以检查点间隔的频率更新 Zookeeper 中的偏移量，因此您看到的信息并非 100% 准确，因为它没有考虑飞行中的记录。
但它会让您很好地了解背压是否正在增加，或者是否一切顺利。
顺便说一句，如果您遇到 Flink 无法使用主题生成的数据，请向邮件列表中的 Flink 开发人员寻求帮助。在最近做的一些实验中，我发现Flink的Kafka Consumer可以读出非常高的吞吐量。
在 kafka_2.11-0.10.0.0 中，消费者偏移量检查器已弃用，kafka-consumer-groups 根据组进行偏移量检查。
就我而言，就 flinkkafkaconsumer 而言，我没有看到任何组与 kafka-consumer-groups 一起列出。
在 flink-kafka-consumer 的情况下 group.id 对于偏移量监控没有多大用处。您可以在
找到更多相关信息
我正在使用 Flink 进行一些测试，以与其他一些流媒体平台进行比较。测试的数据源是一个具有不同流量的 kafka 主题，我试图弄清楚 flink 是否跟上。
有没有办法知道 'backpressure' flink 对 kafka 消费者的影响？ IE跟得上吗？
Apache Kafka 项目提供了一些工具来从 Zookeeper 中获取主题和消费者信息。
在这种情况下，您可以使用 ConsumerOffsetChecker.
工具要输出给你的是"offset lag"，也就是分区中最新的偏移量与当前消费者位置的差值。
请注意，Flink 大致以检查点间隔的频率更新 Zookeeper 中的偏移量，因此您看到的信息并非 100% 准确，因为它没有考虑飞行中的记录。 但它会让您很好地了解背压是否正在增加，或者是否一切顺利。
顺便说一句，如果您遇到 Flink 无法使用主题生成的数据，请向邮件列表中的 Flink 开发人员寻求帮助。在最近做的一些实验中，我发现Flink的Kafka Consumer可以读出非常高的吞吐量。
在 kafka_2.11-0.10.0.0 中，消费者偏移量检查器已弃用，kafka-consumer-groups 根据组进行偏移量检查。
就我而言，就 flinkkafkaconsumer 而言，我没有看到任何组与 kafka-consumer-groups 一起列出。
在 flink-kafka-consumer 的情况下 group.id 对于偏移量监控没有多大用处。您可以在