在 Spark 的 Structured Streaming 中是否有一个 Streaming Context 与 Spark Streaming 中的等效?
In Spark's Structured Streaming is there a Streaming Context equivalent like there is in Spark Streaming?
我正在尝试获取结构化流查询的批处理信息以最终记录。一般来说,我是 Spark 的新手,我对从 Spark Streaming 访问等效于 streamingContext 感到困惑。 streamingContext 是专门针对 Spark Streaming 的吗?
我正在尝试做类似于以下的事情,除了我无法注册侦听器(因此我试图理解),因为我没有 streamingContext。尝试使用结构化流式传输的 StreamingContext 是否完全偏离了轨道?
StreamingQueryListener 具有查询的生命周期事件,onQueryStarted、onQueryUpdated、onQueryTerminated。据我所知,OnQueryUpdated 在批次之间触发并报告最后处理的批次。
创建自定义侦听器并附加到事件总线,您应该可以开始了。
spark.streams.addListener(自定义监听器)
我正在尝试获取结构化流查询的批处理信息以最终记录。一般来说,我是 Spark 的新手,我对从 Spark Streaming 访问等效于 streamingContext 感到困惑。 streamingContext 是专门针对 Spark Streaming 的吗?
我正在尝试做类似于以下的事情,除了我无法注册侦听器(因此我试图理解),因为我没有 streamingContext。尝试使用结构化流式传输的 StreamingContext 是否完全偏离了轨道?
StreamingQueryListener 具有查询的生命周期事件,onQueryStarted、onQueryUpdated、onQueryTerminated。据我所知,OnQueryUpdated 在批次之间触发并报告最后处理的批次。
创建自定义侦听器并附加到事件总线,您应该可以开始了。
spark.streams.addListener(自定义监听器)