在 Spark 中加入数据框
Join Dataframes in Spark
我使用以下代码在 spark 中加入了两个 Dataframes -
Dataframes are: expDataFrame, accountList
val expDetails = expDataFrame.as("fex").join(accountList.as("acctlist"),$"fex.acct_id" === $"acctlist.acct_id", "inner")
现在我正在尝试从两个数据帧中同时显示 acct_id。
我已经完成了以下代码 -
expDetails.select($"fex.acct_id",$"acct_id.acct_id").show
但两次获得与 acct_id
相同的列名
我想要两个唯一的列名称，例如 fex_acct_id、acctlist_acct_id 来标识来自哪个数据框的列。
您只需使用 as or alias 方法为列添加别名即可。这将完成工作：
expDetails.select(
$"fex.acct_id".as("fex_acct_id"),
$"acct_id.acct_id".as("acctlist_acct_id")
).show
我使用以下代码在 spark 中加入了两个 Dataframes -
Dataframes are: expDataFrame, accountList
val expDetails = expDataFrame.as("fex").join(accountList.as("acctlist"),$"fex.acct_id" === $"acctlist.acct_id", "inner")
现在我正在尝试从两个数据帧中同时显示 acct_id。
我已经完成了以下代码 -
expDetails.select($"fex.acct_id",$"acct_id.acct_id").show
但两次获得与 acct_id
相同的列名我想要两个唯一的列名称，例如 fex_acct_id、acctlist_acct_id 来标识来自哪个数据框的列。
您只需使用 as or alias 方法为列添加别名即可。这将完成工作：
expDetails.select(
$"fex.acct_id".as("fex_acct_id"),
$"acct_id.acct_id".as("acctlist_acct_id")
).show