kafka.common.KafkaException: 错误的请求类型 18

Question

我是运行这段代码。 streamingInputDF 是关于 Kafka 主题的 readStream。我是运行 spark 2.4.0 和 Kafka 0.10.2

val activityQuery = streamingInputDF.writeStream
.format("console")
.outputMode("append")
.start()
.awaitTermination()

我看到在 streamingInputDF 上调用 writeStream 后 Kafka 代理抛出这个异常

[2018-11-24 21:46:42,842] ERROR Closing socket for /127.0.0.1 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
    at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:64)
    at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
    at kafka.network.Processor.read(SocketServer.scala:450)
    at kafka.network.Processor.run(SocketServer.scala:340)
    at java.lang.Thread.run(Thread.java:745)

Answer 1

此问题已解决。我现在可以在 spark shell 中看到推文流入 Kafka 主题。我所做的只是重新启动 Kafka 代理，没有其他任何改变。

val activityQuery = streamingInputDF.writeStream
.format("console")
.outputMode("append")
.start()
.awaitTermination()

kafka.common.KafkaException: 错误的请求类型 18

kafka.common.KafkaException: Wrong request type 18

apache-kafka

apache-spark

spark-streaming