我如何知道我在 Spark 中 运行 是哪个应用程序?
How can I tell which application I'm running in Spark?
我使用 Zeppelin 来 运行 Spark 查询,我们有 Spark 应用程序 UI。
但是,对于每个 运行ning 应用程序,我们只有一个 UI 视图。
https://spark-history-server.[myURL].com/history/application_112378123821_98123
我在 Hadoop 上安装了 Zeppelin 运行ning。我想知道我的应用程序 ID 应该是什么。
有什么方法可以让我从 Zeppelin 笔记本中找到它?
使用sc.applicationId
获取当前作业的应用程序ID。
Using Spark Session:
spark.sparkContext.applicationId
我使用 Zeppelin 来 运行 Spark 查询,我们有 Spark 应用程序 UI。
但是,对于每个 运行ning 应用程序,我们只有一个 UI 视图。
https://spark-history-server.[myURL].com/history/application_112378123821_98123
我在 Hadoop 上安装了 Zeppelin 运行ning。我想知道我的应用程序 ID 应该是什么。
有什么方法可以让我从 Zeppelin 笔记本中找到它?
使用sc.applicationId
获取当前作业的应用程序ID。
Using Spark Session:
spark.sparkContext.applicationId