如何从存储中删除 localcheck 指向的 RDD

Question

我曾经 运行 火花上下文。在我的代码中使用 localcheckpoint 在检查点后根据我的算法截断谱系我想删除 RDDs 引用请帮助我....

Answer 1

要清理检查点，您需要此配置文件：

spark.cleaner.referenceTracking.cleanCheckpoints    true    #Default: false; Controls whether to clean checkpoint files if the reference is out of scope.

参见spark configuration；

如果你想uncache\remove the RDD:

rdd.unpersist()