有没有办法通过网络提交 spark 作业 ui?

Is there a way to submit spark jobs via web ui?

我从 flink 切换到 spark,但我错过了通过网络提交作业的选项 UI。

到现在为止,我按命令行提交了所有 spark 作业。

有没有办法通过 spark 网络界面提交作业?

Is there a a way to submit jobs via the spark web interface?

.


我会通过命令行提交我的作业,然后通过 Spark Web 界面监控它。当然,除非你会使用 oozie。

是的,有一种方法可以通过 Web 应用程序触发 Spark 作业。

I tried this long back and I don't have exact documentation with me right now.

I will try to explain the steps as far as I remember, you can give a shot

您可以使用 oozie 来做同样的事情

  1. 创建 spark 作业并将其压缩到一个 fat jar 中并将其放入 hdfs

  2. 创建 shell 脚本以提交此 spark 作业并将此文件放入 hdfs

  3. 创建 oozie 特定的 job.propertiesworkflow.xml

  4. workflow.xml文件放入hdfs

  5. 使用 job.properties

  6. 提交 oozie 作业
  7. 将要触发 spark 作业的 UI 应用程序部署到 oozie/webapp/ROOT

  8. Web 应用程序将使用 oozie rest 服务与 运行 oozie 作业交互

  9. 现在通过浏览器访问您的 web 应用程序并且可能基于某些按钮单击您可以提交 spark 作业

更新:

发现 spark-jobserver library 有助于通过 REST 接口提交和监控 Apache Spark 作业。

希望这对你有帮助...

一如既往,如果我的回答对您有帮助,请采纳或点赞...:)