spark ui 中的持续时间与处理时间与批处理持续时间之间有什么区别？

Question

如下图，spark中的duration、batch duration和processing time有什么区别UI？

谢谢

Spark UI Picture

Answer 1

持续时间是挂钟。处理时间是所有作业持续时间的总和。

Answer 2

1 分钟的 batch duration 告诉您，您的 Spark 流式应用程序以 1 分钟为单位工作，这意味着它每分钟计划一个 RDD。您在创建 SparkSession 时在代码中设置此持续时间。

processing time 告诉您 Spark 处理所有输入数据（提供为 input data size）需要 34 秒。

duration 让您了解完成申请中的特定工作所花费的时间。