Spark：如何增加从站的驱动器大小
Spark: How to increase drive size in slaves
如何启动一个集群，每个集群都有 100GB 的驱动器。
./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
launch cluster-test
我使用了一个大小为 100GB 的 AMI；然而，Spark 调整了它的大小并启动了一个 8GB 的驱动器。如何将该限制增加到 100GB？
这解决了问题，但问题仍然寻求答案以避免首先出现此问题。
原来EBS卷是100GB，但是上面的镜像只有8GB。这就是为什么它只被视为 8GB 的原因。要将图像分布在磁盘上，此 blog described in details how to do it. In addition, this SO answer 也很有帮助。
如何启动一个集群，每个集群都有 100GB 的驱动器。
./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
launch cluster-test
我使用了一个大小为 100GB 的 AMI；然而，Spark 调整了它的大小并启动了一个 8GB 的驱动器。如何将该限制增加到 100GB？
这解决了问题，但问题仍然寻求答案以避免首先出现此问题。
原来EBS卷是100GB，但是上面的镜像只有8GB。这就是为什么它只被视为 8GB 的原因。要将图像分布在磁盘上，此 blog described in details how to do it. In addition, this SO answer 也很有帮助。