如何使用变量作为火花选定字段

Question

我刚接触 scala，有一个包含很多列的数据框，我想 select 一些字段但每次都必须列出它们，如下所示，我如何定义一个变量代表他们并传入 scala?

df.select("a", "b", "c", "d", "e", "f")

预计：

df.select(variable val)

Answer 1

您可以传递列列表，如下所示：

import org.apache.spark.sql.functions.col

val fields = List("a", "b", "c", "d").map(col)
df.select(fields: _*)

map(col) 将您的字符串列表转换为列。 fields: _* 将您的 List 转换为多个参数

how to use a variable as spark selected fields