将 Spark 数据帧收集到 Numpy 矩阵中

Question

我已经使用 spark 在大型数据集上计算 PCA，现在我有一个具有以下结构的 spark 数据框：

Row('pcaFeatures'=DenseVector(elem1,emlem2..))

其中 elem1,...,elemN 是双精度数。我想将其转换为 numpy 矩阵。现在我正在使用以下代码：

numpymatrix = datapca.toPandas().as_Matrix()

但我得到了一个带有 Object 类型元素而不是数字矩阵的 numpy Series。有没有办法得到我需要的矩阵？

Answer 1

只有当结果数据可以放入您的主内存时，您的请求才有意义（即您可以安全地使用 collect()）；另一方面，如果是这种情况，诚然，您完全没有理由使用 Spark。

无论如何，鉴于此假设，这是使用玩具数据将单列 features Spark 数据帧（Rows of DenseVector）转换为 NumPy 数组的通用方法：

spark.version
# u'2.2.0' 

from pyspark.ml.linalg import Vectors
import numpy as np

# toy data:
df = spark.createDataFrame([(Vectors.dense([0,45,63,0,0,0,0]),),
                            (Vectors.dense([0,0,0,85,0,69,0]),),
                            (Vectors.dense([0,89,56,0,0,0,0]) ,),
                           ], ['features'])

dd = df.collect()
dd
# [Row(features=DenseVector([0.0, 45.0, 63.0, 0.0, 0.0, 0.0, 0.0])), 
#  Row(features=DenseVector([0.0, 0.0, 0.0, 85.0, 0.0, 69.0, 0.0])), 
#  Row(features=DenseVector([0.0, 89.0, 56.0, 0.0, 0.0, 0.0, 0.0]))] 

np.asarray([x[0] for x in dd])
# array([[ 0., 45., 63., 0., 0., 0., 0.],
#        [ 0., 0., 0., 85., 0., 69., 0.],
#        [ 0., 89., 56., 0., 0., 0., 0.]])

将 Spark 数据帧收集到 Numpy 矩阵中

Collect Spark dataframe into Numpy matrix

numpy

pyspark

spark-dataframe