RDD.union 对比 SparkContex.union

Question

有什么区别

reduce(lambda x,y: x.union(y), myRDDlist)

调用 RDD.union 和

sc.union(myRDDlist)

哪个调用 SparkContext.union?

它们编译成相同的代码吗？

Answer 1

如果你有两个 RDD，

SparkContext.union and RDD.union 是等价的。

减少 RDD 列表并调用 RDD.union 将产生多个嵌套的 UnionRDD（相互引用），其中对 SparkContext.union 的调用将只产生一个 UnionRDD。