用于 Spark Streaming 的 Kafka 连接器版本

Version of Kafka Connector For Use in Spark Streaming

可下载的最新版 Kafka 是 Kafka 2.1.0。但是为了在 Spark Streaming 或 Spark Structured Streaming 中使用 Kafka,我们分别使用以下连接器:

spark-streaming-kafka-0-10_2.11
spark-sql-kafka-0-10_2.11

我的问题是,连接器似乎适用于 Kafka 版本 0.10.0.0,因为连接器的名称包括 0-10。这里有什么我不明白的地方吗,或者我们真的在使用适用于更旧版本的 Kafka 的连接器?

Spark Structure Streaming 2.4,使用Kafka Client 2.0。

0-10表示兼容Kafka Brokers 0.10及以上版本

你可以在spark项目pom.xml中查看:https://github.com/apache/spark/blob/branch-2.4/external/kafka-0-10-sql/pom.xml#L33