在 scala spark 中行到向量

Question

我有一行是通过以下方式获得的：

val row_name = df.collect()(i)

如何将此行转换为类型向量，以便按如下方式将其传递给 fromML()？

val vector_name=org.apache.spark.mllib.linalg.Vectors.fromML(row_name)

提前致谢！

Answer 1

您可以使用 vectorAssembler:

import org.apache.spark.ml.linalg.Vector
import org.apache.spark.mllib.linalg.Vectors
import org.apache.spark.ml.feature.VectorAssembler

val df = Seq((1,2),(3,4)).toDF("col1","col2")

val va = new VectorAssembler().setInputCols(Array("col1","col2")).setOutputCol("vector")

val row0 = va.transform(df).select("vector").collect()(0).getAs[Vector](0)

val vector0 = Vectors.fromML(row0)
// vector0: org.apache.spark.mllib.linalg.Vector = [1.0,2.0]

在 scala spark 中行到向量

row to vector in scala spark

scala

row

vector

apache-spark