试图从 Java 中找到 SetConf 的 R 等价物

Trying to find R equivalent for SetConf from Java

在 Java 中，您可以执行以下操作：

sc.setConf('spark.sql.parquet.binaryAsString','true')

R 中的等价物是什么？我查看了 sc 对象可用的方法，但找不到任何明显的方法来执行此操作

谢谢

您可以在 SparkContext 初始化期间设置环境变量。 sparkR.init 有许多可选参数，包括：

  • sparkEnvir - 要在工作节点上设置的环境变量列表。
  • sparkExecutorEnv - 启动执行程序时要使用的环境变量列表

在你的情况下，像这样的事情应该可以解决问题：

sparkEnvir <- list('spark.sql.parquet.binaryAsString'='true')
sc <- sparkR.init(master, app_name, sparkEnvir=sparkEnvir)

我找到了问题的解决方案。

我们可以做到以下几点：

sql(sqlContext,'SET spark.sql.parquet.binaryAsString=true')

这解决了所有问题。