Apache Kafka 集群启动失败并出现 NoNodeException

Question

我正在尝试启动一个从 Kafka 队列消耗的 spark 流会话，并且我正在使用 Zookeeper 进行配置管理。但是，当我尝试启动时抛出以下异常。

18/03/26 09:25:49 INFO ZookeeperConnection: Checking Kafka topic core-data-tickets does exists ...

18/03/26 09:25:49 INFO Broker: Kafka topic core-data-tickets exists
18/03/26 09:25:49 INFO Broker: Processing topic : core-data-tickets
18/03/26 09:25:49 WARN ZookeeperConnection: Resetting Topic Offset
org.I0Itec.zkclient.exception.ZkNoNodeException: org.apache.zookeeper.KeeperException$NoNodeException: KeeperErrorCode = NoNode for /consumers/clt/offsets/core-data-tickets/4
    at org.I0Itec.zkclient.exception.ZkException.create(ZkException.java:47)
    at org.I0Itec.zkclient.ZkClient.retryUntilConnected(ZkClient.java:685)
    at org.I0Itec.zkclient.ZkClient.readData(ZkClient.java:766)
    at org.I0Itec.zkclient.ZkClient.readData(ZkClient.java:761)
    at kafka.utils.ZkUtils$.readData(ZkUtils.scala:443)
    at kafka.utils.ZkUtils.readData(ZkUtils.scala)
    at net.core.data.connection.ZookeeperConnection.readTopicPartitionOffset(ZookeeperConnection.java:145)

我已经创建了相关的 Kafka 主题。

如有任何见解，我们将不胜感激。

#

我正在使用以下代码运行 spark 作业

spark-submit --class net.core.data.compute.Broker     --executor-memory 512M     --total-executor-cores 2     --driver-java-options "-Dproperties.path=/ebs/tmp/continuous-loading-tool/continuous-loading-tool/src/main/resources/dev.properties"  --conf spark.ui.port=4045   /ebs/tmp/dev/data/continuous-loading-tool/target/continuous-loading-tool-1.0-SNAPSHOT.jar

Answer 1

我猜这个错误与偏移量保留有关。默认情况下，偏移量仅存储 1440 分钟（即 24 小时）。因此，如果该组在一天内没有提交抵消，Kafka 将不会有关于它的信息。

一种可能的解决方法是相应地设置 offsets.retention.minutes 的值。

offsets.retention.minutes

Offsets older than this retention period will be discarded

Apache Kafka 集群启动失败并出现 NoNodeException

Apache Kafka Cluster start fails with NoNodeException

java

apache-kafka

apache-spark

spark-streaming

apache-zookeeper