Spark Streaming 和 Spark Structured Streaming 使用相同的微批处理引擎吗?
Do Spark Streaming and Spark Structured Streaming use same micro-batch engine?
Spark Streaming 和 Spark Structured Streaming 使用相同的微批处理引擎吗? Spark Structured Streaming 的延迟是否低于 Spark Streaming?
Structered Streaming 主要是一种更高级别的抽象,允许您定义流式处理逻辑,然后它使用 Spark SQL 引擎在同一微批处理引擎上执行。
默认情况下,Structured Streaming 使用微批处理引擎,但是如果您使用的是 Spark 2.3+,那么您可以使用 连续模式,您可以在其中降低到 1 millisecond
延迟
Do Spark Streaming and Spark Structured Streaming use same micro-batch scheduler engine
当然不是。它们在内部是不同的,但共享流和记录的相同高级概念。
在 Spark Structured Streaming 中,您可以使用 DataStreamWriter.foreach
或 DataStreamWriter.foreachBatch
方法尽可能接近 Spark Streaming 中的情况。
主要区别在于如何描述流式管道。在 Spark Structured Streaming 中,您使用 Spark SQL 的 Dataset API,而 Spark Streaming 押注于 Spark Core 的 RDD API。两者最终都是基于 RDD 的计算,但 Spark SQL 使用更高级别的抽象(例如 Dataset
API)。
他们都使用 "micro-batch scheduler engine" 吗?是的,但 Spark Structured Streaming 正在尝试利用一些可以连续查询的数据源(并且没有微批处理)。
does Spark Structured Streaming have lower latency than Spark Streaming?
这很难回答。 Spark Streaming 的创建者决定开发 Spark Structured Streaming,并希望在查询性能和表现力方面变得更好。不再推荐使用 Spark Streaming。
Spark Streaming 和 Spark Structured Streaming 使用相同的微批处理引擎吗? Spark Structured Streaming 的延迟是否低于 Spark Streaming?
Structered Streaming 主要是一种更高级别的抽象,允许您定义流式处理逻辑,然后它使用 Spark SQL 引擎在同一微批处理引擎上执行。
默认情况下,Structured Streaming 使用微批处理引擎,但是如果您使用的是 Spark 2.3+,那么您可以使用 连续模式,您可以在其中降低到 1 millisecond
延迟
Do Spark Streaming and Spark Structured Streaming use same micro-batch scheduler engine
当然不是。它们在内部是不同的,但共享流和记录的相同高级概念。
在 Spark Structured Streaming 中,您可以使用 DataStreamWriter.foreach
或 DataStreamWriter.foreachBatch
方法尽可能接近 Spark Streaming 中的情况。
主要区别在于如何描述流式管道。在 Spark Structured Streaming 中,您使用 Spark SQL 的 Dataset API,而 Spark Streaming 押注于 Spark Core 的 RDD API。两者最终都是基于 RDD 的计算,但 Spark SQL 使用更高级别的抽象(例如 Dataset
API)。
他们都使用 "micro-batch scheduler engine" 吗?是的,但 Spark Structured Streaming 正在尝试利用一些可以连续查询的数据源(并且没有微批处理)。
does Spark Structured Streaming have lower latency than Spark Streaming?
这很难回答。 Spark Streaming 的创建者决定开发 Spark Structured Streaming,并希望在查询性能和表现力方面变得更好。不再推荐使用 Spark Streaming。