pyspark 添加带有数据框行号的新列字段

Question

嗨，我正在尝试使用 Spark 构建推荐系统

我有一个包含用户电子邮件和电影评级的数据框。

df = pd.DataFrame(np.array([["aa@gmail.com",2,3],["aa@gmail.com",5,5],["bb@gmail.com",8,2],["cc@gmail.com",9,3]]), columns=['user','movie','rating'])

sparkdf = sqlContext.createDataFrame(df, samplingRatio=0.1)

           user movie rating
  aa@gmail.com     2      3
  aa@gmail.com     5      5
  bb@gmail.com     8      2
  cc@gmail.com     9      3

我的第一个疑问是，pySpark MLlib 不接受电子邮件，我是对的吗？因为这个我需要通过主键更改电子邮件。

我的方法是创建一个临时 table、select 不同的用户，现在我想添加一个带有行号的新列（这个数字将是每个用户的主键。

sparkdf.registerTempTable("sparkdf")

DistinctUsers = sqlContext.sql("Select distinct user FROM sparkdf")

我有什么

+------------+
|        user|
+------------+
|bb@gmail.com|
|aa@gmail.com|
|cc@gmail.com|
+------------+

我想要什么

+------------+
|        user| PK
+------------+
|bb@gmail.com| 1
|aa@gmail.com| 2
|cc@gmail.com| 3
+------------+

接下来我将进行连接并获取要在 MLlib 中使用的最终数据框

user movie rating
  1     2      3
  1     5      5
  2     8      2
  3     9      3

问候感谢您的宝贵时间。

Answer 1

实际上回答了您的问题，但在这种特殊情况下，使用 StringIndexer 可能是更好的选择：

from pyspark.ml.feature import StringIndexer

indexer = StringIndexer(inputCol="user", outputCol="user_id")
indexed = indexer.fit(sparkdf ).transform(sparkdf)

pyspark 添加带有数据框行号的新列字段

pyspark add new column field with the data frame row number

python

apache-spark

pyspark

apache-spark-ml

apache-spark-mllib