如何将 Vector 类型的 VectorAssembler 输出转换为数组

Question

spark 中的 vectorAssembler 函数给出一个 vector[double] 类型作为输出，但我需要将其转换为 array[double]。我知道提供了一个内置 Vector_to_array 函数，但我不知道如何将列转换为数组一些元素也是稀疏数组。

var assembler = new VectorAssembler().setInputCols(Array("Pclass",
  "Age",
  "Fare",
  "Gender",
  "Boarded"
)).setOutputCol("features")
var transformedDF =  assembler.setHandleInvalid("skip").transform(updatedDF)

这是代码，我需要将特征列从向量类型转换为数组类型。

Answer 1

根据 ml 或 mllib 库为 Vector 使用别名，以免与 Scala 的 Vector 混淆

import org.apache.spark.ml.linalg.Vector => MLVector
import org.apache.spark.mllib.linalg.Vector => MLlibVector

然后创建一个UDF

// 1. function to map to Array[Double]
val vec2Array: Any => Array[Double] = {
  vector => vector match {
    case vec: MLVector => vec.toArray
    case vec: MLlibVector => vec.toArray
  }
}
// 2. User Defined Function (UDF)
val vec2ArrayUDF = udf(vec2Array)
// 3. apply UDF on "features" column
val df_vec2Array = transformedDF.withColumn("features_array",vec2ArrayUDF(col("features")))

如何将 Vector 类型的 VectorAssembler 输出转换为数组

How to convert VectorAssembler output which is Vector type to Array

apache-spark

apache-spark-sql

apache-spark-mllib