Postgresql JSONB 数据上的 Spark SQL

Question

当前 Postgresql 版本 (9.4) 支持 json 和 jsonb 数据类型，如http://www.postgresql.org/docs/9.4/static/datatype-json.html

例如，JSON存储为jsonb的数据可以通过SQL查询查询：

SELECT jdoc->'guid', jdoc->'name'
FROM api 
WHERE jdoc @> '{"company": "Magnafone"}';

作为 Sparker 用户，是否可以通过 JDBC 将此查询发送到 Postgresql 并以 DataFrame 形式接收结果？

到目前为止我尝试过的：

val url = "jdbc:postgresql://localhost:5432/mydb?user=foo&password=bar"
val df = sqlContext.load("jdbc",
  Map("url"->url,"dbtable"->"mydb", "driver"->"org.postgresql.Driver"))
df.registerTempTable("table")
sqlContext.sql("SELECT data->'myid' FROM table")

但是 sqlContext.sql() 无法理解 SQL.

中的 data->'myid' 部分

Answer 1

无法从 Spark DataFrame API 动态查询 json / jsonb 字段。一旦数据被提取到 Spark，它就会被转换为字符串并且不再是可查询的结构（参见：SPARK-7869）。

正如您已经发现的那样，您可以使用 dbtable / table 参数将子查询直接传递给源并使用它来提取感兴趣的字段。几乎相同的规则适用于任何非标准类型，调用存储过程或任何其他扩展。

Postgresql JSONB 数据上的 Spark SQL

Spark SQL on Postgresql JSONB data

postgresql

json

apache-spark

apache-spark-sql