Apache Spark reductionByWindow 函数在哪里执行？
Where is executed the Apache Spark reductionByWindow function?
我尝试学习 apache spark，但我无法从 documentation 中理解 window 操作是如何工作的。
我有两个工作节点，我使用 Kafka Spark Utils 从主题创建 DStream。
在这个 DStream 上，我应用了 map 函数和一个 reductionByWindow。
我不明白 reductionByWindow 是在 each worker 上执行还是在驱动程序中执行。
我已经搜索 google 没有任何结果。
有人可以解释一下吗？
接收和处理数据都发生在工作节点上。驱动程序创建负责数据收集的接收器（在工作节点上），并定期启动作业来处理收集的数据。其他一切都是标准的 RDD 和正常的 Spark 作业。
我尝试学习 apache spark，但我无法从 documentation 中理解 window 操作是如何工作的。
我有两个工作节点，我使用 Kafka Spark Utils 从主题创建 DStream。
在这个 DStream 上，我应用了 map 函数和一个 reductionByWindow。
我不明白 reductionByWindow 是在 each worker 上执行还是在驱动程序中执行。
我已经搜索 google 没有任何结果。
有人可以解释一下吗？
接收和处理数据都发生在工作节点上。驱动程序创建负责数据收集的接收器（在工作节点上），并定期启动作业来处理收集的数据。其他一切都是标准的 RDD 和正常的 Spark 作业。