如何杀死 SparkR 工作
How to kill SparkR job
我正在使用 Spark 2.0.0,我有基于网络的 RStudio,我通过它使用 SparkR 包。
虽然 运行 是一个大型程序,但如果我必须在处理过程中终止作业,我该怎么做?
R 中的“停止”按钮不起作用,如果我终止会话本身,那么在该会话中创建的所有对象也会被删除。
最好的方法是什么?
由于 R 可能会阻塞,因为它正在等待 Spark 的响应,最合适的方法可能是访问 WebUI(当然如果它可以访问)并终止当前 Stage。
打开masterWebUI(默认端口为8080)点击SparkR,就是应用姓名。
现在您位于 SparkR 应用程序 UI 中。单击 Stages 并按 (kill) 关闭活动阶段。这当然不会杀死所有东西,只有活跃阶段和其他阶段可能还需要被杀死。
你可以简单地写:
sparkR.session.stop()
然后重启R会话:
会话 -> 重启 R
我正在使用 Spark 2.0.0,我有基于网络的 RStudio,我通过它使用 SparkR 包。
虽然 运行 是一个大型程序,但如果我必须在处理过程中终止作业,我该怎么做?
R 中的“停止”按钮不起作用,如果我终止会话本身,那么在该会话中创建的所有对象也会被删除。
最好的方法是什么?
由于 R 可能会阻塞,因为它正在等待 Spark 的响应,最合适的方法可能是访问 WebUI(当然如果它可以访问)并终止当前 Stage。
打开masterWebUI(默认端口为8080)点击SparkR,就是应用姓名。
你可以简单地写: sparkR.session.stop()
然后重启R会话:
会话 -> 重启 R