如何在胶水 pyspark 脚本中自动保存 s3 存储桶名称？
how do I automatically save the s3 bucket names in glue pyspark script?
我现在的问题是我在 S3 存储桶（包含几个子存储桶）中有大量 JSON 文件。
我想分解它并保存到一个新的平面文件中，其中一列告诉我记录最初来自哪个子存储桶。
我如何在 SQL 中自动获取该信息？谢谢！！
我正在使用胶水 pyspark ，顺便说一句。
来自评论 -> 您可以使用 input_file_name() 列
我现在的问题是我在 S3 存储桶（包含几个子存储桶）中有大量 JSON 文件。 我想分解它并保存到一个新的平面文件中，其中一列告诉我记录最初来自哪个子存储桶。 我如何在 SQL 中自动获取该信息？谢谢！！ 我正在使用胶水 pyspark ，顺便说一句。
来自评论 -> 您可以使用 input_file_name() 列