平面图 scala [String, String,List[String]]

Question

我有这个问题，我有一个RDD[(String,String, List[String])，我想"flatmap"它得到一个RDD[(String,String, String)]:

例如：

val x :RDD[(String,String,  List[String]) = 
RDD[(a,b, list[ "ra", "re", "ri"])]

我想得到：

val result: RDD[(String,String,String)] = 
RDD[(a, b, ra),(a, b, re),(a, b, ri)])]

Answer 1

使用flatMap:

val rdd = sc.parallelize(Seq(("a", "b", List("ra", "re", "ri"))))
// rdd: org.apache.spark.rdd.RDD[(String, String, List[String])] = ParallelCollectionRDD[7] at parallelize at <console>:28

rdd.flatMap{ case (x, y, z) => z.map((x, y, _)) }.collect
// res23: Array[(String, String, String)] = Array((a,b,ra), (a,b,re), (a,b,ri))

Answer 2

这是另一种使用 flatMap 的方法

val rdd  =  sparkContext.parallelize(Seq(("a", "b", List("ra", "re", "ri"))))
rdd.flatMap(array => array._3.map(list => (array._1, array._2, list))).foreach(println)

平面图 scala [String, String,List[String]]

Flatmap scala [String, String,List[String]]

scala

extract

flatmap

apache-spark

rdd