在 Scala 中组合多个 RDD
Combing Multiple RDD's in scala
我有 4 个 RDD[Double,Double] 类型的数据。
我想将它们连接在一起并想要 RDD[Double, (Double,Double,Double,Double)] 类型的输出但是使用连接函数我得到的输出为 RDD[Double, (((Double,Double),Double),双倍的）]。
这里只想明确每个数据中的第一个值是相同的。
只需将值映射到预期类型：
val original: RDD[Double, (((Double,Double),Double),Double)] = // ...
val res: RDD[Double, (Double,Double,Double,Double)] =
original.mapValues { case (((d1, d2), d3), d4) => (d1, d2, d3, d4) }
我有 4 个 RDD[Double,Double] 类型的数据。 我想将它们连接在一起并想要 RDD[Double, (Double,Double,Double,Double)] 类型的输出但是使用连接函数我得到的输出为 RDD[Double, (((Double,Double),Double),双倍的）]。 这里只想明确每个数据中的第一个值是相同的。
只需将值映射到预期类型：
val original: RDD[Double, (((Double,Double),Double),Double)] = // ...
val res: RDD[Double, (Double,Double,Double,Double)] =
original.mapValues { case (((d1, d2), d3), d4) => (d1, d2, d3, d4) }