如何使用 java 检查某个消费者是否已连接到 Kafka 0.9.0.x？

Question

如何在 kafka 上获取已连接消费者的列表？ 由于消费者在 broker 上连接，是否有 java 像 ZkClient/ZkUtils 这样的实用程序来获取列表Kafka 0.9 中连接的消费者数量。0.x？就像我们使用以下实用程序获取经纪人列表一样：

        ZkClient zkClient = new ZkClient(endpoint.getZookeeperConnect(), 60000);

        if(zkClient!=null){
            List<String> brokerIds = zkClient.getChildren(ZkUtils.BrokerIdsPath());
            if(CollectionUtils.isNotEmpty(brokerIds) &&  brokerIds.contains(brokerId)){
                logger.debug("Broker:{{}} is connected to Zookeeper.",brokerId);
                flag = true;    
            }
            else{
                logger.error("ERROR:Broker:{{}} is not connected to Zookeeper.",brokerId);
            }
            zkClient.close();
        }

我正在使用 Kafka 0.9.0.x 以及来自 maven 的 java 库：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.11</artifactId>
    <version>0.9.0.1</version>
</dependency>

更新：

我打开了一个'kafka-console-consumer.bat'和运行它一次然后越过cmd提示符。然后继续“zookeeper-shell.bat”和ls /consumers然后显示[console-consumer-6008]，但未显示我编程的消费者。使用 zkClient.getChildren(ZkUtils.ConsumersPath()) 我现在只能查看提到的消费者。

Answer 1

几乎相同，但您必须检查 ZkUtils.ConsumersPath (= /consumers)。

Zookeeper 中的消费者结构是下一个 /consumers/[groupId]/ids/[consumerId]，因此导航您可以获得每个组的组和消费者。

Answer 2

对于 0.9.x 个新消费者并列出所有活跃的消费者组：

找到所有经纪人并向每个经纪人发送"ListGroups"请求并获取所有组信息；

详情可参考$KAFKA_HOME/bin/kafka-consumer-groups.sh(kafka.admin.ConsumerGroupCommand.KafkaConsumerGroupService.list())

对于0.9.x个新消费者并描述某个消费者组的详细信息：

找到消费者组协调器并向其发送"DescribeGroups"请求，获取所有组成员信息和分区分配信息；
调用 KafkaConsumer.committed（TopicPartition 分区）以获取给定分区的最后提交的偏移量。

详情可参考$KAFKA_HOME/bin/kafka-consumer-groups.sh(kafka.admin.ConsumerGroupCommand.KafkaConsumerGroupService.describe())

请注意，旧消费者和新消费者对此有完全不同的实现。（两种逻辑都在kafka.admin.ConsumerGroupCommand。

中实现

Answer 3

不确定您到底需要什么信息，但我做了一个示例程序，它提供的信息与 kafka-consumer-groups.sh --describe.

要使用此代码，请将此依赖项添加到您的 pom。

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka_2.11</artifactId>
    <version>0.9.0.1</version>
</dependency>

然后：

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;
import kafka.admin.AdminClient;
import kafka.coordinator.GroupOverview;

Properties props = new Properties();
props.put(CommonClientConfigs.BOOTSTRAP_SERVERS_CONFIG, "kafka-1:9092");
AdminClient adminClient = AdminClient.create(props);

List<GroupOverview> groups =  scala.collection.JavaConversions.seqAsJavaList(
        adminClient.listAllConsumerGroupsFlattened());
for (GroupOverview group : groups) {
    String groupId = group.groupId();

    Properties consProps = new Properties();
    consProps.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka-1:9092");
    consProps.put(ConsumerConfig.GROUP_ID_CONFIG, groupId);
    consProps.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");
    consProps.put(ConsumerConfig.SESSION_TIMEOUT_MS_CONFIG, "30000");
    consProps.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    consProps.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
    KafkaConsumer consumer = new KafkaConsumer(consProps);

    List<AdminClient.ConsumerSummary> groupSummaries = scala.collection.JavaConversions.seqAsJavaList(
            adminClient.describeConsumerGroup(groupId));

    System.out.println("GROUP, TOPIC, PARTITION, CURRENT OFFSET, LOG END OFFSET, LAG, OWNER");

    for (AdminClient.ConsumerSummary summary : groupSummaries) {
        String owner = summary.clientId() + "_" + summary.clientHost();
        List<TopicPartition> topicPartitions = scala.collection.JavaConversions.seqAsJavaList(
                summary.assignment());
        for (TopicPartition tp : topicPartitions) {

            // Get current offset
            long currentOffset = consumer.committed(tp).offset();

            // get log end offset
            consumer.assign(Arrays.asList(tp));
            consumer.seekToEnd();
            long logEndOffset = consumer.position(tp);

            long lag = logEndOffset - currentOffset;

            System.out.println(groupId + ", " + tp.topic() + ", " + tp.partition() + ", " +
                    currentOffset + ", " + logEndOffset + ", " + lag + ", " + owner);
        }
    }
}

如何使用 java 检查某个消费者是否已连接到 Kafka 0.9.0.x？

how to check if certain consumer is connected to Kafka 0.9.0.x using java?

java

apache-kafka

apache-zookeeper