如何在 PySpark 应用程序中设置纱线应用程序 ID
How to set yarn application id in a PySpark app
我正在尝试找到一种方法来为通过 EMR 上的 YARN 提交的 pyspark 应用程序创建自定义应用程序 ID。
通常 YARN 应用程序 ID 的格式为 application_1632776696096_0006
有没有办法以某种方式修改它们以添加前缀或使它们完全自定义？
感谢您的回复！提前致谢
ApplicationId是yarn内部生成的唯一标识，除了修改源码外无法自定义。
可以通过指定appname来达到区分app的目的。例如：
spark-submit --name
我正在尝试找到一种方法来为通过 EMR 上的 YARN 提交的 pyspark 应用程序创建自定义应用程序 ID。
通常 YARN 应用程序 ID 的格式为 application_1632776696096_0006
有没有办法以某种方式修改它们以添加前缀或使它们完全自定义？
感谢您的回复！提前致谢
ApplicationId是yarn内部生成的唯一标识，除了修改源码外无法自定义。 可以通过指定appname来达到区分app的目的。例如：
spark-submit --name