计算 2 个元素 Spark

Question

如何计算 spark 中的 2 列？

我测试一下。但这不是好方法..

joinDF = logDF.join(logDF2,"day_number")
compareNumberRequestTraffic = joinDF.groupBy("day_number") \
    .agg(functions.count("request","request2")) \
    .show()

我有错误：

() takes exactly 1 argument (2 given)

我想输出

day_number      count(request)     count(request2)
2015-01-03                5                   7

非常感谢

Answer 1

不要用 2 个参数写计数，而是在 agg 函数中写 2 个计数

joinDF = logDF.join(logDF2,"day_number")
compareNumberRequestTraffic = joinDF.groupBy("day_number") \
    .agg(functions.count("request"), functions.count("request2")) \
    .show()

计算 2 个元素 Spark

Count 2 elements Spark

apache-spark

spark-dataframe