在 windows 8.1 上启动集群时无法识别 spark-ec2

spark-ec2 not recognized when lauching cluster on windows 8.1

我是 spark 的完全初学者。我试图在 Amazon EC2 上 运行 spark,但我的系统无法识别 "spark-ec2" 或“./spark-ec2”。它说 "spark-ec2" 未被识别为内部或外部命令。

我按照说明 here 启动了集群。我想使用 Scala,如何使用它?

添加 PYTHON 带有 boto 的 PATH 环境变量。 PYTHONPATH="${SPARK_EC2_DIR}/third_party/boto-2.4.1.zip/boto-2.4.1:$PYTHONPATH" 并执行python脚本

为了 运行 Windows 上的 Spark-EC2 脚本,您需要 Cygwin 和 Python。如果你不想安装这些程序,你可以使用脚本的docker化版本(https://github.com/edrevo/spark-ec2-docker),它只依赖于Docker.