如何在 R 中更新到 SparkR 2.0.0 包

Question

我想从 SparkR 1.4.0 更新到 SparkR 2.0.0，但出现以下错误：

had non-zero exit status

这是因为 SparkR 2.0.0 在 CRAN 上不可用。

类似地，从SparkR 1.6.2到SparkR 2.0.0，我们得到：

Warning in install.packages :
package ‘SparkR’ is not available (for R version 3.3.0)

如何从那里安装 Spark 2.0.0？（我不想安装 SparkR，因为它已经安装为 1.6.2，但我必须将其更新为 2.0.0）

Answer 1

SparkR 不仅需要一个 R 包，还需要一个完整的 Spark 后端。当你想升级 SparkR 时，你是在升级 Spark，而不仅仅是 R 包。

现在您可能需要参考 sparklyr 包，因为它使所有这一切变得更加容易。

install.packages("devtools")
devtools::install_github("rstudio/sparklyr")
library(sparklyr)
spark_install(version = "1.6.2")
spark_install(version = "2.0.0")

它还提供了比 SparkR 更多的功能。

如何在 R 中更新到 SparkR 2.0.0 包

How to update to SparkR 2.0.0 package in R

r

apache-spark

sparkr