如何将 PySpark 数据帧的每个非字符串列与浮点常量相乘或相乘？

Question

我的输入数据框如下所示

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Basics").getOrCreate()

df=spark.createDataFrame(data=[('Alice',4.300,None),('Bob',float('nan'),897)],schema=['name','High','Low'])

+-----+----+----+
| name|High| Low|
+-----+----+----+
|Alice| 4.3|null|
|  Bob| NaN| 897|
+-----+----+----+

除以 10.0 的预期输出

+-----+----+----+
| name|High| Low|
+-----+----+----+
|Alice| 0.43|null|
|  Bob| NaN| 89.7|
+-----+----+----+

Answer 1

我不知道有任何库函数可以做到这一点，但这个片段似乎做得很好：

CONSTANT = 10.0

for field in df.schema.fields:
    if str(field.dataType) in ['DoubleType', 'FloatType', 'LongType', 'IntegerType', 'DecimalType']:
        name = str(field.name)
        df = df.withColumn(name, col(name)/CONSTANT)


df.show()

输出：

+-----+----+----+
| name|High| Low|
+-----+----+----+
|Alice|0.43|null|
|  Bob| NaN|89.7|
+-----+----+----+

Answer 2

下面的代码应该可以高效地解决您的问题

from pyspark.sql.functions import col

allowed_types = ['DoubleType', 'FloatType', 'LongType', 'IntegerType', 'DecimalType']

df = df.select(*[(col(field.name)/10).name(field.name) if str(field.dataType) in allowed_types else col(field.name) for field in df.schema.fields]

当列数很大时，迭代使用 "withColumn" 可能不是一个好主意。
这是因为 PySpark 数据帧是不可变的，所以基本上我们将为使用 withColumn 转换的每个列创建一个新的 DataFrame，这将是一个非常缓慢的过程。

这就是上面代码派上用场的地方。

如何将 PySpark 数据帧的每个非字符串列与浮点常量相乘或相乘？

How divide or multiply every non-string columns of a PySpark dataframe with a float constant?

python

apache-spark

pyspark

spark-dataframe

pyspark-sql