有没有办法通过网络提交 spark 作业 ui?
Is there a way to submit spark jobs via web ui?
我从 flink 切换到 spark,但我错过了通过网络提交作业的选项 UI。
到现在为止,我按命令行提交了所有 spark 作业。
有没有办法通过 spark 网络界面提交作业?
Is there a a way to submit jobs via the spark web interface?
否.
我会通过命令行提交我的作业,然后通过 Spark Web 界面监控它。当然,除非你会使用 oozie。
是的,有一种方法可以通过 Web 应用程序触发 Spark 作业。
I tried this long back and I don't have exact documentation with me
right now.
I will try to explain the steps as far as I remember, you can give a
shot
您可以使用 oozie
来做同样的事情
创建 spark 作业并将其压缩到一个 fat jar 中并将其放入 hdfs
创建 shell 脚本以提交此 spark 作业并将此文件放入 hdfs
创建 oozie 特定的 job.properties
和 workflow.xml
将workflow.xml
文件放入hdfs
使用 job.properties
提交 oozie 作业
将要触发 spark 作业的 UI 应用程序部署到 oozie/webapp/ROOT
Web 应用程序将使用 oozie rest 服务与 运行 oozie 作业交互
现在通过浏览器访问您的 web 应用程序并且可能基于某些按钮单击您可以提交 spark 作业
更新:
发现 spark-jobserver library 有助于通过 REST 接口提交和监控 Apache Spark 作业。
希望这对你有帮助...
一如既往,如果我的回答对您有帮助,请采纳或点赞...:)
我从 flink 切换到 spark,但我错过了通过网络提交作业的选项 UI。
到现在为止,我按命令行提交了所有 spark 作业。
有没有办法通过 spark 网络界面提交作业?
Is there a a way to submit jobs via the spark web interface?
否.
我会通过命令行提交我的作业,然后通过 Spark Web 界面监控它。当然,除非你会使用 oozie。
是的,有一种方法可以通过 Web 应用程序触发 Spark 作业。
I tried this long back and I don't have exact documentation with me right now.
I will try to explain the steps as far as I remember, you can give a shot
您可以使用 oozie
来做同样的事情
创建 spark 作业并将其压缩到一个 fat jar 中并将其放入 hdfs
创建 shell 脚本以提交此 spark 作业并将此文件放入 hdfs
创建 oozie 特定的
job.properties
和workflow.xml
将
workflow.xml
文件放入hdfs使用
job.properties
提交 oozie 作业
将要触发 spark 作业的 UI 应用程序部署到
oozie/webapp/ROOT
Web 应用程序将使用 oozie rest 服务与 运行 oozie 作业交互
现在通过浏览器访问您的 web 应用程序并且可能基于某些按钮单击您可以提交 spark 作业
更新:
发现 spark-jobserver library 有助于通过 REST 接口提交和监控 Apache Spark 作业。
希望这对你有帮助...
一如既往,如果我的回答对您有帮助,请采纳或点赞...:)