使用列表中的列按 PySpark 中的多列进行分区

Question

我的问题与这个话题类似：

但我在 Pyspark 而不是 Scala 工作，我想将我的列列表作为列表传递。我想做这样的事情：

column_list = ["col1","col2"]
win_spec = Window.partitionBy(column_list)

我可以使用以下方法：

win_spec = Window.partitionBy(col("col1"))

这也有效：

col_name = "col1"
win_spec = Window.partitionBy(col(col_name))

这也有效：

win_spec = Window.partitionBy([col("col1"), col("col2")])

Answer 1

使用列表理解将列名转换为列表达式 [col(x) for x in column_list]:

from pyspark.sql.functions import col
column_list = ["col1","col2"]
win_spec = Window.partitionBy([col(x) for x in column_list])

Answer 2

您的第一次尝试应该会奏效。

考虑以下示例：

import pyspark.sql.functions as f
from pyspark.sql import Window

df = sqlCtx.createDataFrame(
    [
        ("a", "apple", 1),
        ("a", "orange", 2),
        ("a", "orange", 3),
        ("b", "orange", 3),
        ("b", "orange", 5)
    ],
    ["name", "fruit","value"]
)
df.show()
#+----+------+-----+
#|name| fruit|value|
#+----+------+-----+
#|   a| apple|    1|
#|   a|orange|    2|
#|   a|orange|    3|
#|   b|orange|    3|
#|   b|orange|    5|
#+----+------+-----+

假设您想计算每行总和的一部分，按前两列分组：

cols = ["name", "fruit"]
w = Window.partitionBy(cols)
df.select(cols + [(f.col('value') / f.sum('value').over(w)).alias('fraction')]).show()

#+----+------+--------+
#|name| fruit|fraction|
#+----+------+--------+
#|   a| apple|     1.0|
#|   b|orange|   0.375|
#|   b|orange|   0.625|
#|   a|orange|     0.6|
#|   a|orange|     0.4|
#+----+------+--------+

Answer 3

PySpark >= 2.4，这也适用 =>

column_list = ["col1","col2"]

win_spec = Window.partitionBy(*column_list)

使用列表中的列按 PySpark 中的多列进行分区

Partitioning by multiple columns in PySpark with columns in a list

window-functions

apache-spark

pyspark