亚马逊现货市场上的 Spark

Question

我可以看到 Apache Spark 的用例是 运行 它在亚马逊现货市场上，因为 spark-ec2 脚本有一个 --spot-price=<price> 选项。

spark 将如何处理新实例上线或突然消失？我的工作会自动重新安排吗？文档中在哪里讨论了这个问题？

更新 进一步挖掘表明，RDD 的容错性是通过在必要时重新计算来处理的。对于我的问题，这不是最优的，因为计算非常昂贵（而且是随机的）。现在研究 Akka 以推出我自己的定制替代方案。

Answer 1

Spark 文档 (afaik) 中没有任何内容，但是最好的办法是查看 the Amazon documentation，因为它对于任何分布式计算都是相同的。

就 spark 本身而言，它是为容错而构建的。因此，如果一个 运行 节点被杀死，那么它将尝试从最近的图表中重新创建数据。