使用 pyspark.sql 函数计算平均值的正确方法是什么？

Question

在 pyspark 数据框中，我有不同事件的时间序列，我想按月计算事件的平均数。使用 pyspark.sql 函数的正确方法是什么？

感觉这需要agg, avg, window 分区，但我无法让它工作。

我按事件和月份对数据进行了分组，得到了这样的结果：

+------+-----+-----+
| event|month|count|
+------+-----+-----+
|event1|    1| 1023|
|event2|    1| 1009|
|event3|    1| 1002|
|event1|    2| 1012|
|event2|    2| 1023|
|event3|    2| 1017|
|event1|    3| 1033|
|event2|    3| 1011|
|event3|    3| 1004|
+------+-----+-----+

我想要的是这个：

+------+-------------+
| event|avg_per_month|
+------+-------------+
|event1|    1022.6666|
|event2|    1014.3333|
|event3|    1007.6666|
+------+-------------+

完成此任务的正确方法是什么？

Answer 1

这应该可以帮助您获得想要的结果 -

df = spark.createDataFrame(
    [('event1',1,1023),
     ('event2',1,1009),
     ('event3',1,1002),
     ('event1',2,1012),
     ('event2',2,1023),
     ('event3',2,1017),
     ('event1',3,1033),
     ('event2',3,1011),
     ('event3',3,1004)
     ],["event", "month", "count"])

示例 1：

df.groupBy("event").\
    avg("count").alias("avg_per_month").\
    show()

示例 2：

df.groupBy("event").\
    agg({'count' : 'avg'}).alias("avg_per_month").\
    show()

使用 pyspark.sql 函数计算平均值的正确方法是什么？

What is the correct way to calculate average using pyspark.sql functions?

average

aggregate

apache-spark-sql

pyspark

pyspark-sql

示例 1：

示例 2：