Spark Streaming、Structured Streaming 和 Kafka Streaming 是一回事吗?

Are Spark Streaming, Structured Streaming and Kafka Streaming the same thing?

我遇到过三种流行的流媒体技术,它们是 Spark Streaming、Structured Streaming 和 Kafka Streaming。 我浏览了各种网站但没有得到这个答案,这三个是相同的还是不同的? 如果不相同,基本区别是什么。 我不是在寻找深入的答案。但是对上述问题的回答(是或否)以及对每个问题的一些介绍,以便我可以探索更多。 :)

提前致谢 小子

我猜你说 "Kafka Streaming" 时指的是 Kafka Streams

Kafka Streams 是一个 JVM 库,是 Apache Kafka 的一部分。它是一种在提供抽象层的 Kafka 主题中处理数据的方法。 Applications 运行ning KafkaStreams library可以运行在任何地方(不只是在Kafka集群中,其实不推荐)。他们将使用、处理和生成数据 to/from Kafka 集群。

Spark Streaming 是 Apache Spark 分布式数据处理库的一部分,它提供流(相对于批处理)处理。 Spark 最初只提供批计算,所以提供了一个特定的层 Spark Streaming 用于流处理。 Spark Streaming 可以使用 Kafka 数据提供,但它也可以连接到其他来源。

Structured Streaming,在 Apache Spark 领域内,是一种不同的方法,它克服了 Spark Streaming 使用的先前方法的流处理的某些限制。它是从某个版本(2.0 IIRC)开始添加到 Spark 中的。