步骤名称下的 Spark 作业 UI - time/duration 值
Spark Job UI - time/duration values under the name of a step
我有一个简单的问题 - Spark UI 中 WholeStageCodegen 矩形顶部的时间是多少？是处理时间吗？
是的，它是组成该步骤的任务的计算时间总和。
括号中的其他 3 个值是任务花费的计算时间的最小值、中值和最大值。
- 最快的任务用了 64 毫秒完成
- 如果按计算时间排序任务，中间的任务用了 147 毫秒完成
- 最慢的需要 1.3 秒才能完成
我有一个简单的问题 - Spark UI 中 WholeStageCodegen 矩形顶部的时间是多少？是处理时间吗？
是的，它是组成该步骤的任务的计算时间总和。
括号中的其他 3 个值是任务花费的计算时间的最小值、中值和最大值。
- 最快的任务用了 64 毫秒完成
- 如果按计算时间排序任务，中间的任务用了 147 毫秒完成
- 最慢的需要 1.3 秒才能完成