将 Apache Spark Shell 与 Cron 一起使用 - 怎么做？
Using Apache Spark Shell with Cron - how to?
我想将 Apache Spark Shell 与日常 Cron 一起使用。我需要 运行 和 shell 的脚本是用 Scala 编写的。此外，我需要尽可能快地完成这项工作（也就是说，不要每次都加载 shell 并退出，因为我有很多脚本要 运行）。如何做到这一点？
spark-shell 是一个交互式环境，并不意味着 运行 要求的无头作业。虽然从技术上讲应该可以这样做。
可能更好的选择是使用 运行 REPL 上的代码和 运行 使用 cron 调用的代码创建一个应用程序 "fat JAR" 文件spark-submit 或普通 java -cp ... my.pkg.Main
我想将 Apache Spark Shell 与日常 Cron 一起使用。我需要 运行 和 shell 的脚本是用 Scala 编写的。此外，我需要尽可能快地完成这项工作（也就是说，不要每次都加载 shell 并退出，因为我有很多脚本要 运行）。如何做到这一点？
spark-shell 是一个交互式环境，并不意味着 运行 要求的无头作业。虽然从技术上讲应该可以这样做。
可能更好的选择是使用 运行 REPL 上的代码和 运行 使用 cron 调用的代码创建一个应用程序 "fat JAR" 文件spark-submit 或普通 java -cp ... my.pkg.Main