如何检查apache spark Job的性能

Question

我已经安装了 Apache Spark 2.3.1，需要检查哪个脚本有效

问题：

1.How 我是否监控 Apache Spark 脚本的执行？

2.Which 这些脚本之一是有效的？

rdd = sc.textFile("Readme.txt")

1:

rdd.flatMap(x => x.split(" ")).countByValue()

2:

words = rdd.flatMap(lambda x: x.split(" "))
result = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)

Answer 1

使用 spark web ui，它包含监控性能所需的信息——时间、执行程序统计信息、阶段统计信息、任务统计信息、资源统计信息等。