将 n 个元素的 RDD 转换为单个元素的 RDD
Transform an RDD of n elements into an RDD of single element
我有一个如下所示的字符串 RDD
val rdd1: RDD[String] = RDD("a","b","c","d")
我想把上面的RDD的元素拼接起来，转换成如下的单个元素的RDD
RDD("a,b,c,d")
最好的方法是什么？
使用glom函数：
val res: RDD[Array[String]] = RDD("a","b","c","d").glom
// > res = RDD(Array("a", "b", "c", "d"))
然后您可以使用 mkString 函数将数组转换为字符串。
我有一个如下所示的字符串 RDD
val rdd1: RDD[String] = RDD("a","b","c","d")
我想把上面的RDD的元素拼接起来，转换成如下的单个元素的RDD
RDD("a,b,c,d")
最好的方法是什么？
使用glom函数：
val res: RDD[Array[String]] = RDD("a","b","c","d").glom
// > res = RDD(Array("a", "b", "c", "d"))
然后您可以使用 mkString 函数将数组转换为字符串。