将不同的功能应用于 pyspark 数据框的许多列

Question

我有一个只有几列的 pyspark 数据框

col1    col2    col3
---------------------
1.      2.1.    3.2
3.2.    4.2.    5.1

我想将三个函数 f1(x), f2(x), f3(x) 应用到数据框的相应列中，这样我就得到

col1        col2        col3
-------------------------------
f1(1.)      f2(2.1.)    f3(3.2)
f1(3.2.)    f2(4.2.)    f3(5.1)

我试图避免为每一列定义一个 udf，所以我的想法是从每一列应用一个函数构建一个 rdd（可能是带索引的 zip，我也可以在原始数据集中定义它），然后加入原始数据框。

这是一个可行的解决方案，还是有更好的方法？

更新：按照@Andre' Perez 的建议，我可以为每列定义一个 udf 并使用 spark sql 来应用它，或者

import numpy as np
import pyspark.sql.functions as F
f1_udf = F.udf(lambda x: float(np.sin(x)), FloatType())
f2_udf = F.udf(lambda x: float(np.cos(x)), FloatType())
f3_udf = F.udf(lambda x: float(np.tan(x)), FloatType())


df = df.withColumn("col1", f1_udf("col1"))
df = df.withColumn("col2", f2_udf("col2"))
df = df.withColumn("col3", f3_udf("col3"))

Answer 1

也许将这些函数注册为 UDF 会更好（即使您说过不想遵循这种方法）。

spark.udf.register("func1", f1)
spark.udf.register("func2", f2)
spark.udf.register("func3", f3)

然后我会将 DataFrame 注册为和运行 Spark SQL 查询，并使用已注册的函数对其进行查询。

df.createOrReplaceTempView("dataframe")
df2 = spark.sql("select func1(col1), func2(col2), func3(col3) from dataframe")

将不同的功能应用于 pyspark 数据框的许多列

Apply different functions to many columns of a pyspark dataframe

user-defined-functions

apache-spark

rdd

pyspark