Spark：在将其从列表中删除之前取消坚持 rdd

Question

我有一个 rdd 列表 List<JavaRDD<MyType>>。 list 中的每个 rdd 都缓存在内存中。

现在我想删除其中一个列表项。 我需要在 .remove(index) 之前调用 .unpersist() 吗？

如果 "yes"：据我所知 .unpersist() 使用惰性求值。我需要 运行 一些操作然后删除该项目吗？好像没什么意思

请帮忙！

Answer 1

Do I need to call .unpersist() on it before .remove(index)

你可以这样做，这可能是个好主意，但如果你不这样做，系统会自动处理一个对象，并对其进行垃圾回收。

I need to run some action and then remove the item

绝对不是。在尚未持久化的 RDD 上调用 unpersist 没有任何问题，如果没有什么可删除的，它对您来说更好。