比较两个 pairRDD

Question

我有 2 个 pairRdds，它们的元组定义为

 Tuple2 <Integer,int[]>

我想做的是从两个 RDD 中找到具有相同键的元组，而不是将 Ra 的值部分 (int []) 的每个元素与 Rb 的其他元素进行比较，而不是 return在 result_RDD Res 中，只有出现在两个 rdds 中的元组，第二部分（int []）的每个元素的相同键和相同值，举个例子，让我们假设：

  Ra={(1,(2,3)) (4,(9,2)) (5,(88,2)) (77,(6,1))...}
  Rb={(1,(5,5)) (4,(9,2)) (9,(22,0)) (5,(88,2))..}

  Res={(4,(9,2)) (5,(88,2))}

我也想 return RESult2_RDD，来自 Ra 的元组出现在两个 RDD 中，但是这次，相同的键和不同的值（意味着（int []）部分），

 RESULT2_RDD= {(1,(2,3))  ...}

求助....

Answer 1

您正在寻找intersection

val Res = Ra.intersection(Rb)

比较两个 pairRDD

compare between two pairRDD

java

scala

key-value

apache-spark

rdd