如何从 Databricks 集群的 SparkUI 导出 Jobs/Stages 日志

Question

在databricls中，我想将我们在sparkui中看到的jobs/stagesd日志导出到自定义位置进行分析。我们该怎么做？


谢谢。

Answer 1

检查配置文件中的以下内容属性。

spark.eventLog.dir

访问您将获得日志的位置。