数组中的 2 个值到我的 DataFrame 中的 2 列

Question

在 Java 中使用 Apache Spark，我有：

root
 |-- datasetid: string (nullable = true)
 |-- fields: struct (nullable = true)
...
 |    |-- latlon: array (nullable = true)
 |    |    |-- element: double (containsNull = true)

这是基于这个 JSON 片段：

"fields":{
  "latlon":[
    35.9543748,
    -78.9944911
  ],

我试图使用以下方法将数据提取到列中：

df = df.withColumn("lat", df.col("fields.latlon[0]"));
df = df.withColumn("lon", df.col("fields.latlon[1]"));

（希望您能欣赏语法的简洁性）。但是，我必须承认它并没有真正起作用：

No such struct field latlon[1] in

我尝试了一些其他的东西，但运气不佳...

Answer 1

使用代码

df.withColumn("lat", $"fields.latlon".getItem(0))
  .withColumn("lon", $"fields.latlon".getItem(1))

使用sql

df.registerTempTable("geo")
latlon = sqlContext.sql("select fields.latlon[0] as lat, fields.latlon[1] as lon from geo")

数组中的 2 个值到我的 DataFrame 中的 2 列

2 values in an Array to 2 columns in my DataFrame

java

apache-spark

apache-spark-sql

spark-dataframe