如何使用 Scala 连接数据框中的多列

Question

我正在尝试在一个数据框中连接多个列。我的列列表存在于一个变量中。我试图将该变量传递给 concat 函数，但无法做到这一点。

例如：base_tbl_columns 包含列列表，我正在使用下面的代码 select 变量中提到的所有列。

    scala> val base_tbl_columns  = scd_table_keys_df.first().getString(5).split(",")
    base_tbl_columns: Array[String] = Array(acct_nbr, account_sk_id, zip_code, primary_state, eff_start_date, eff_end_date, load_tm, hash_key, eff_flag)

val hist_sk_df_ld = hist_sk_df.select(base_tbl_columns.head,base_tbl_columns.tail: _*)

同样，我还有一个要用于串联的列表。但是 concat 函数没有采用 .head 和 .tail 参数。

scala> val hash_key_cols = scd_table_keys_df.first().getString(4)
    hash_key_cols: String = primary_state,zip_code

 Here I am hard coding the value primary_state and zip_code.
    .withColumn("hash_key_col",concat($"primary_state",$"zip_code"))

 Here I am passing the variable hash_key_cols .
   .withColumn("hash_key_col",concat(hash_key_cols ))

我无法使用下面的代码在 python 中执行此操作。

hist_sk_df = hist_tbl_df.join(broadcast(hist_tbl_lkp_df) ,primary_key_col,'inner' ).withColumn("eff_start_date",lit(load_dt))**.withColumn('hash_key_col',F.concat(*hash_key_cols))**.withColumn("hash_key",hash_udf('hash_key_col')).withColumn("eff_end_date",lit(eff_close_dt)).withColumn("load_tm",lit(load_tm)).withColumn("eff_flag",lit(eff_flag_curr))

Answer 1

或者：

val base_tbl_columns: Array[String] = ???

df.select(concat(base_tbl_columns.map(c => col(c)): _*))

或：

df.select(expr(s"""concat(${base_tbl_columns.mkstring(",")})"""))

如何使用 Scala 连接数据框中的多列

How to concat multiple columns in a data frame using Scala

scala

apache-spark

spark-dataframe