Spark集群：没有HDFS的独立模式

Question

我们有一个独立的 Spark 集群。对于集群，如果 RDD 内存存储不够，它会将数据溢出到磁盘。在没有HDFS的情况下，数据到底溢出到了哪里？每个从节点的本地磁盘？

谢谢！

Answer 1

据我所知，所有数据都溢出到 spark.local.dir 定义的本地目录，与 HDFS 访问无关。