如何使用 Spark Scala 将一列数据转换为向量
How can I convert one column data to a vector using Spark Scala
我正在使用 Spark、Scala 来处理数据。我有一个问题想不通。我有一个数据框，它是一列：
data
1
2
3
4
5
我希望它成为一个向量
[1.0,2.0,3.0,4.0,5.0]
我该如何实施？我试过了
df.collect().toVector 或 rdd.foreach，但每次 returns 对我来说都是向量数组 [1,0]、[2.0]、[3.0]、[4.0]、[5.0]，而不是一个单个向量。
发生这种情况是因为当您 collect 一个数据框时，您会得到一个行数组。您需要从行对象中提取值。
df.collect().map(x => x.getDouble(0)).toVector
我正在使用 Spark、Scala 来处理数据。我有一个问题想不通。我有一个数据框，它是一列：
data
1
2
3
4
5
我希望它成为一个向量 [1.0,2.0,3.0,4.0,5.0]
我该如何实施？我试过了
df.collect().toVector 或 rdd.foreach，但每次 returns 对我来说都是向量数组 [1,0]、[2.0]、[3.0]、[4.0]、[5.0]，而不是一个单个向量。
发生这种情况是因为当您 collect 一个数据框时，您会得到一个行数组。您需要从行对象中提取值。
df.collect().map(x => x.getDouble(0)).toVector