包含 postgres JDBC 驱动进入 SparkR

Question

我使用这个预备程序来连接到 PostgreSQL 数据库。它们不起作用，但我找不到任何关于正确符号的建议。

.libPaths(c(.libPaths(), '/opt/spark-1.6.1-bin-hadoop2.6/R/lib'))
Sys.setenv(SPARK_HOME = '/opt/spark-1.6.1-bin-hadoop2.6')
Sys.setenv(PATH = paste(Sys.getenv(c('PATH')), '/opt/spark-1.6.1-bin-hadoop2.6/bin', sep = ':'))
library(SparkR)

d.csv <- "com.databricks:spark-csv_2.11:1.4.0"
d.pg <- "org.postgresql.Driver:postgresql-9.4:1208"

sc <- sparkR.init(sparkPackages=c(d.csv, d.pg))

我将 JAR 文件存储在“/opt/spark-1.6.1-bin-hadoop2.6/lib/postgresql-9.4.1208.jar”下，另外 yum 安装了 jdbc 在我的centos6机器上。

当我尝试启动它时，会找到 csv 库，但无法解析 JDBC PostgreSQL 驱动程序。

    ::::::::::::::::::::::::::::::::::::::::::::::

    ::          UNRESOLVED DEPENDENCIES         ::

    ::::::::::::::::::::::::::::::::::::::::::::::

    :: org.postgresql.Driver#postgresql-9.4;1208: not found

    ::::::::::::::::::::::::::::::::::::::::::::::

任何提示都会很棒。非常感谢。

Answer 1

您使用的组 ID 不正确。 PostgreSQL 工件发布在 org.postgresql 而不是 org.postgresql.Driver 所以它应该是：

org.postgresql:postgresql:9.4.1208

Answer 2

有效的方法：

d.pg <- "org.postgresql:postgresql:9.4.1208"

它与相应的驱动程序一起工作。在另一种情况下，我们在处理 JAR 文件时遇到了问题，并通过将 SRC 解压缩到 lib 文件夹中来替换它。这也很好用。

包含 postgres JDBC 驱动进入 SparkR

Include postgres JDBC Drive into SparkR

postgresql

jdbc

apache-spark

sparkr