Pyspark：将参数传递给 Dataframe 中的字符串列

Question

我是 PySpark 的新手，来自 SAS，我仍然不知道如何处理参数（或 SAS 术语中的宏变量）。

我有一个日期参数，如“202105”，我想将它作为字符串列添加到 Dataframe 中。像这样：

date = 202105
df = df.withColumn("DATE", lit('{date}'))

我认为这很微不足道，但到目前为止，我没有找到我的问题的确切答案，也许它太微不足道了...

希望大家能帮帮我。最好的问候

Answer 1

您可以使用字符串插值，即 {}.format() (or) f'{}'.

Example:

df.withColumn("DATE", lit("{0}".format(date)))
df.withColumn("DATE", lit("{}".format(date)))

#or

df.withColumn('DATE', lit(f'{date}'))

Pyspark: Pass parameter to String Column in Dataframe