SparkR-avg(df$column) 不返回值而只返回文本 "Column avg"

Question

这是我的代码

Sys.setenv('SPARKR_SUBMIT_ARGS' = 
    '"--packages" "com.databricks:spark-csv_2.10:1.3.0" "sparkr-shell"')

library(SparkR)

sc=sparkR.init(master="local",
    sparkHome = "/Users/devesh/Downloads/spark-1.4.1-bin-hadoop2.6",
    sparkPackages = c("com.databricks:spark-csv_2.10:1.3.0"))

sqlContext <- sparkRSQL.init(sc)

df <- createDataFrame(sqlContext, iris)
avg(df$Sepal_Length)

并给我输出：

Column avg(Sepal_Length)

但不是数字。我正在使用 Mac OS

Answer 1

这是预期的行为。与 Sparkr 中的其他运算符相同 avg` 被延迟计算。要获得您拥有的价值，请触发一个动作。此外，它只是在列表达式中，没有适当的上下文就不会单独工作：

library(magrittr)

select(df, avg(df$Sepal_Length)) %>% collect()

SparkR-avg(df$column) 不返回值而只返回文本 "Column avg"

SparkR-avg(df$column) not returning a value but just the text "Column avg"

r

apache-spark

sparkr