如何使用 aws lambda 将 json 文件转换为镶木地板
How to convert a json file in to parquet using aws lambda
s3_obj = s3.Object(s3_bucket, file_prefix)
df= pd.read_json(jsonlines_doc,lines=True)
location=s3_obj.put(Body=json.dumps(jsonlines_doc))
df.to_parquet(location, engine='auto', compression='snappy', index=None)
代码无法运行，但可以保存在本地导入的 pyarrow 和 parquet
您是否尝试过先将文件保存到 lambda 中可用的 /tmp/，然后将其复制到您选择的 s3 存储桶。
顺便提一下，每个 Lambda 执行容器在 /tmp 目录中提供 512 MB 的临时磁盘 space，因此如果您的文件大于此大小，您可能必须使用 AWS EFS。
s3_obj = s3.Object(s3_bucket, file_prefix)
df= pd.read_json(jsonlines_doc,lines=True)
location=s3_obj.put(Body=json.dumps(jsonlines_doc))
df.to_parquet(location, engine='auto', compression='snappy', index=None)
代码无法运行，但可以保存在本地导入的 pyarrow 和 parquet
您是否尝试过先将文件保存到 lambda 中可用的 /tmp/，然后将其复制到您选择的 s3 存储桶。
顺便提一下，每个 Lambda 执行容器在 /tmp 目录中提供 512 MB 的临时磁盘 space，因此如果您的文件大于此大小，您可能必须使用 AWS EFS。