将向量列添加到 pyspark DataFrame

Question

如何将 Vectors.dense 列添加到 pyspark 数据框？

import pandas as pd
from pyspark import SparkContext
from pyspark.sql import SQLContext
from pyspark.ml.linalg import DenseVector

py_df = pd.DataFrame.from_dict({"time": [59., 115., 156., 421.], "event": [1, 1, 1, 0]})

sc = SparkContext(master="local")
sqlCtx = SQLContext(sc)
sdf = sqlCtx.createDataFrame(py_df)
sdf.withColumn("features", DenseVector(1))

在文件 anaconda3/lib/python3.6/site-packages/pyspark/sql/dataframe.py 的第 1848 行中出现错误：

AssertionError: col should be Column

它不喜欢 DenseVector 类型作为列。本质上，我有一个 pandas 数据框，我想将其转换为 pyspark 数据框并添加一个 Vectors.dense 类型的列。还有其他方法吗？

Answer 1

常量 Vectors 不能作为文字添加。你必须使用 udf:

from pyspark.sql.functions import udf
from pyspark.ml.linalg import VectorUDT

one = udf(lambda: DenseVector([1]), VectorUDT())
sdf.withColumn("features", one()).show()

但我完全不确定您为什么需要它。如果要将现有列转换为 Vectors，请使用适当的 pyspark.ml 工具，例如 VectorAssembler -

from pyspark.ml.feature import VectorAssembler

VectorAssembler(inputCols=["time"], outputCol="features").transform(sdf)

将向量列添加到 pyspark DataFrame

Adding a Vectors Column to a pyspark DataFrame

dataframe

apache-spark

pyspark

apache-spark-ml