kafka kafka-consumer-groups.sh --describe returns 消费者组无输出

Question

kafka 版本 1.1

--list可以获得消费者组

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list --command-config config/client_security.properties
Note: This will not show information about old Zookeeper-based consumers.

spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0
console-consumer-23379
console-consumer-44846
console-consumer-75221
console-consumer-57833
yizhisec-traffic
console-consumer-91940
group1

无法获取任何信息。 这个消费者组id是由spark生成的。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0  --command-config config/client_security.properties

一无所获

Note: This will not show information about old Zookeeper-based consumers.

但测试其他消费者工作。

更新更多细节

我使用结构化流kafka

当我使用zookeeper查询时出现错误

bin/kafka-consumer-groups.sh --zookeeper localhost:2181 --describe --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0  --command-config config/client_security.properties

得到错误

Note: This will only show information about consumers that use ZooKeeper (not those using the Java consumer API).
Error: The consumer group 'spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0' does not exist.

Answer 1

kafka-consumer-groups \
  --bootstrap-server localhost:9092 \
  --describe \
  --group your_consumer_group_name

如果消费者组中的消费者没有提交任何偏移量，return将没有输出。

如果

的输出

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --describe \
  --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 \
  --command-config config/client_security.properties

和

bin/kafka-consumer-groups.sh \
  --bootstrap-server localhost:9092 \
  --new-consumer
  --describe \
  --group spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 \
  --command-config config/client_security.properties

匹配并且消费者组出现在两个消费者组列表输出中，我的猜测是消费者组 spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 内的消费者没有提交任何偏移量，这就是为什么没有信息出现使用描述命令。

确保 spark-kafka-source-fd469ba1-6ffa-43cb-8919-06c45ae56fd6--724816166-driver-0 中的消费者成功提交他们的偏移量（手动或自动）。

kafka kafka-consumer-groups.sh --describe returns 消费者组无输出

kafka kafka-consumer-groups.sh --describe returns no output for a consumer group

apache-kafka

apache-spark

spark-streaming

kafka-consumer-api

spark-streaming-kafka

更新更多细节