Error: Must specify a primary resource (JAR or Python file) - Spark submit Python app

Question

我想完成一项简单的任务。我有一组工人。我想部署 zip-archive，其中包含一组 python files。然后，我想发送一些command，然后，一段时间后，我想得到结果。

无论如何，我将我的文件提交给工人：

spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor

我有错误：

Error: Must specify a primary resource (JAR or Python file)
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

deploy.zip 包含 ParserExecutor.py。

Answer 1

试试这个 >> spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor ParserExecutor.py

Answer 2

使用 Spark 1.3.0+ 你还可以执行：

./spark-submit ParserExecutor.py

Error: Must specify a primary resource (JAR or Python file) - Spark submit Python app

Error: Must specify a primary resource (JAR or Python file) - Spark submit Python app

python

deployment

apache-spark

pyspark