不能在 sparkR 中使用 'date_add'-函数

Question

在 SparkR (spark-1.4.0) 中，我想使用 date_add 函数。 https://spark.apache.org/docs/latest/api/R/

但是当我在 SparkR 中键入它时，它说该函数不存在。那怎么可能，我怎样才能得到它？

Answer 1

您 link 的文档适用于版本 1.5.2。有可能你的版本还没有这个功能。根据下面的评论，您将需要更新 Spark 和 SparkR。

Answer 2

在 1.4.0 中可以使用 raw SQL:

library(magrittr)

hiveContext <- sparkRHive.init(sc)

df <- createDataFrame(hiveContext, data.frame(ts=c("2015-12-01"))) %>%  
    select(alias(cast(.$ts, "date"), "ts"))

df %>% selectExpr("ts", "date_add(ts, 1) AS next_day") %>% head

##          ts   next_day
## 1 2015-12-01 2015-12-02

不能在 sparkR 中使用 'date_add'-函数

Can't use 'date_add'-function in sparkR

r

apache-spark

sparkr