在 AWS Glue 中加入操作后删除具有相同名称的重复字段
Drop duplicate fields with same name after join operation in AWS Glue
当我对两个 DynamicFrame 执行连接时,比较具有相同名称的字段,生成的 DynamicFrame 保留了两个字段,但保留了一个“.”。添加到右侧动态框架的字段名称。
datasource0 => id, name
datasource1 => id, address
datasource2 = Join.apply(frame1 = datasource0, frame2 = datasource1, keys1 = "id", keys2 = "id")
datasource2 => id, name, .id, address
删除我使用的重复字段drop_fields
,但它在“.”时不起作用。是前缀
datasource2.drop_fields(['.id'])
datasource2 => id, name, .id, address
如何让它工作?
为了完成这项工作,我用“`”(反引号)将有问题的字段名称括起来。
datasource2.drop_fields(['`.id`'])
datasource2 => id, name, address
当我对两个 DynamicFrame 执行连接时,比较具有相同名称的字段,生成的 DynamicFrame 保留了两个字段,但保留了一个“.”。添加到右侧动态框架的字段名称。
datasource0 => id, name
datasource1 => id, address
datasource2 = Join.apply(frame1 = datasource0, frame2 = datasource1, keys1 = "id", keys2 = "id")
datasource2 => id, name, .id, address
删除我使用的重复字段drop_fields
,但它在“.”时不起作用。是前缀
datasource2.drop_fields(['.id'])
datasource2 => id, name, .id, address
如何让它工作?
为了完成这项工作,我用“`”(反引号)将有问题的字段名称括起来。
datasource2.drop_fields(['`.id`'])
datasource2 => id, name, address