如何将 spark 示例编译并构建到 jar 中？
How to compile and build spark examples into jar?
所以我正在编辑 MovieLensALS.scala，我只想用修改后的 MovieLensALS.scala.
重新编译示例 jar
我使用了 build/mvn -pl :spark-examples_2.10 compile，然后是 build/mvn -pl :spark-examples_2.10 package，它们正常完成。我设置了 SPARK_PREPEND_CLASSES=1。
但是，当我使用 bin/spark-submit --class org.apache.spark.examples.mllib.MovieLensALS examples/target/scala-2.10/spark-examples-1.4.0-hadoop2.4.0.jar --rank 5 --numIterations 20 --lambda 1.0 --kryo data/mllib/sample_movielens_data.txt 重新 运行 MovieLensALS 时，我得到了 java.lang.WhosebugError，尽管我添加到 MovieLensALS.scala 的只是一个 println，表示这是修改后的文件, 没有任何其他修改。
我的 scala 版本是 2.11.8，spark 版本是 1.4.0，我正在关注 this 线程上的讨论来做我正在做的事情。
我们将不胜感激。
所以我最终自己弄明白了。我使用 mvn compile -rf :spark-examples_2.10 进行编译，然后使用 mvn package -rf :spark-examples_2.10 来生成 .jar 文件。注意这里生成的jar文件是spark-examples-1.4.0-hadoop2.2.0.jar.
另一方面，Whosebug 错误是因为血统很长。为此，我可以使用减少计数的检查点，我后来做了。我关注了this。
所以我正在编辑 MovieLensALS.scala，我只想用修改后的 MovieLensALS.scala.
重新编译示例 jar我使用了 build/mvn -pl :spark-examples_2.10 compile，然后是 build/mvn -pl :spark-examples_2.10 package，它们正常完成。我设置了 SPARK_PREPEND_CLASSES=1。
但是，当我使用 bin/spark-submit --class org.apache.spark.examples.mllib.MovieLensALS examples/target/scala-2.10/spark-examples-1.4.0-hadoop2.4.0.jar --rank 5 --numIterations 20 --lambda 1.0 --kryo data/mllib/sample_movielens_data.txt 重新 运行 MovieLensALS 时，我得到了 java.lang.WhosebugError，尽管我添加到 MovieLensALS.scala 的只是一个 println，表示这是修改后的文件, 没有任何其他修改。
我的 scala 版本是 2.11.8，spark 版本是 1.4.0，我正在关注 this 线程上的讨论来做我正在做的事情。
我们将不胜感激。
所以我最终自己弄明白了。我使用 mvn compile -rf :spark-examples_2.10 进行编译，然后使用 mvn package -rf :spark-examples_2.10 来生成 .jar 文件。注意这里生成的jar文件是spark-examples-1.4.0-hadoop2.2.0.jar.
另一方面，Whosebug 错误是因为血统很长。为此，我可以使用减少计数的检查点，我后来做了。我关注了this。