如何从 Spark Scala 中的多个数组创建 DataFrame？

Question

val tvalues: Array[Double] = Array(1.866393526974307, 2.864048126935307, 4.032486069215076, 7.876169953355888, 4.875333799256043, 14.316322626848278)
val pvalues: Array[Double] = Array(0.064020056478447, 0.004808399479386827, 8.914865448939047E-5, 7.489564524121306E-13, 2.8363794106756046E-6, 0.0)

我有两个如上所述的数组，我需要像下面这样从这个数组构建一个 DataFrame，

Tvalues                Pvalues
1.866393526974307      0.064020056478447
2.864048126935307      0.004808399479386827
......                 .....

截至目前，我正在尝试在 Scala 中使用 StringBuilder。这没有按预期进行。请帮助我。

Answer 1

试试看

val df = sc.parallelize(tpvalues zip pvalues).toDF("Tvalues","Pvalues")

因此

scala> df.show
+------------------+--------------------+
|          Tvalues|             Pvalues|
+------------------+--------------------+
| 1.866393526974307|   0.064020056478447|
| 2.864048126935307|0.004808399479386827|
| 4.032486069215076|8.914865448939047E-5|
| 7.876169953355888|7.489564524121306...|
| 4.875333799256043|2.836379410675604...|
|14.316322626848278|                 0.0|
+------------------+--------------------+

使用 parallelize 我们获得了一个 RDD 元组——第一个数组的第一个元素，另一个数组的第二个元素——，它被转换成行的数据帧，每个元组一行。

更新

对于dataframe'ing多个数组（都具有相同的大小），例如4个数组，考虑

case class Row(i: Double, j: Double, k: Double, m: Double)

val xs = Array(arr1, arr2, arr3, arr4).transpose
val rdd = sc.parallelize(xs).map(ys => Row(ys(0), ys(1), ys(2), ys(3))
val df = rdd.toDF("i","j","k","m")

如何从 Spark Scala 中的多个数组创建 DataFrame？

how to create DataFrame from multiple arrays in Spark Scala?

arrays

scala

linear-regression

spark-dataframe