Pyspark 数据框删除列问题
Pyspark dataframe drop columns issue
我正在尝试从数据框中删除两列,但我遇到了一个错误,因为
**Error:**
drop() takes 2 positional arguments but 3 were given
***Code:***
excl_columns= row['exclude_columns'].split(',')
df=df.drop(*excl_columns)
#print(excl_columns)
#['year_of_birth', 'ethnicity']
这是一种可行的方法:
excl_columns = row['exclude_columns'].split(',')
df.select([c for c in df.columns if c not in excl_columns])
我正在尝试从数据框中删除两列,但我遇到了一个错误,因为
**Error:**
drop() takes 2 positional arguments but 3 were given
***Code:***
excl_columns= row['exclude_columns'].split(',')
df=df.drop(*excl_columns)
#print(excl_columns)
#['year_of_birth', 'ethnicity']
这是一种可行的方法:
excl_columns = row['exclude_columns'].split(',')
df.select([c for c in df.columns if c not in excl_columns])