Spark 中 RDD 数量的最大限制

Question

我是 Spark 新手，目前正在学习相关概念。我的一个基本问题是 Spark 中 RDD 的数量限制是多少？

Answer 1

据我所知，Spark 中的 RDD 数量没有限制。

唯一的限制是内存和磁盘交换space Spark 可以expand/use。

我已经 运行 在生产中激发了 40 TB 的数据，但尚未达到任何限制。