在 X 时间不活动后杀死 Zeppelin 在 YARN 上使用的 Spark 应用程序

Kill Spark application used by Zeppelin on YARN after X time of inactivity

运行 Spark on YARN with Apache Zeppelin,这占用了 X % 的队列,即使没有人真正使用它。

由于我是 运行 夜班 CRON 作业,我想要 kill/quit/exit Zeppelin Spark 应用程序,在 X 分钟不活动后,夜班作业队列空闲。

使用 cron 终止是在固定时间(例如凌晨 4 点)终止作业的一种不错的工作解决方案。

一个更优雅的解决方案是将 Zeppelin 与 Livy 集成(参见 https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.1/bk_zeppelin-component-guide/content/zepp-with-spark.html ),因为 Livy 可以配置为在 x 分钟不活动后终止(然后释放资源)。