在 Apache Spark 中更新 DataFrame 的架构

Question

我有一个具有以下架构的 DataFrame

root
 |-- col_a: string (nullable = false)
 |-- col_b: string (nullable = false)
 |-- col_c_a: string (nullable = false)
 |-- col_c_b: string (nullable = false)
 |-- col_d: string (nullable = false)
 |-- col_e: string (nullable = false)
 |-- col_f: string (nullable = false)

现在我想将此数据框的模式转换为类似这样的内容。

root
 |-- col_a: string (nullable = false)
 |-- col_b: string (nullable = false)
 |-- col_c: struct (nullable = false)
     |-- col_c_a: string (nullable = false)
     |-- col_c_b: string (nullable = false)
 |-- col_d: string (nullable = false)
 |-- col_e: string (nullable = false)
 |-- col_f: string (nullable = false)

我可以在 map 转换的帮助下通过显式地从 row 类型中获取每一列的值来做到这一点，但这是一个非常复杂的过程，看起来不太好所以，

有什么办法可以实现吗？

谢谢

Answer 1

有一个内置结构函数，其定义为：

def struct(cols: Column*): Column

你可以这样使用它：

df.show
+---+---+
|  a|  b|
+---+---+
|  1|  2|
|  2|  3|
+---+---+

df.withColumn("struct_col", struct($"a", $"b")).show
+---+---+----------+
|  a|  b|struct_col|
+---+---+----------+
|  1|  2|     [1,2]|
|  2|  3|     [2,3]|
+---+---+----------+

新数据框的模式是：

 |-- a: integer (nullable = false)
 |-- b: integer (nullable = false)
 |-- struct_col: struct (nullable = false)
 |    |-- a: integer (nullable = false)
 |    |-- b: integer (nullable = false)

在你的情况下，你可以这样做：

df.withColumn("col_c" , struct($"col_c_a", $"col_c_b") ).drop($"col_c_a").drop($"col_c_b")

在 Apache Spark 中更新 DataFrame 的架构

Update Schema for DataFrame in Apache Spark

scala

apache-spark

apache-spark-sql

spark-dataframe