AWS S3 图像保存丢失元数据

Question

我正在使用用 python 2.7x 编写的 AWS Lambda 函数，该函数下载、保存到 /tmp ，然后将图像文件上传回存储桶。

我的图像元数据开始于原始存储桶，其中包含 http headers，如 Content-Type= image/jpeg 和其他。

用 PIL 保存图像后，所有 headers 都消失了，剩下 Content-Type = binary/octet-stream

据我所知，由于 PIL 的工作方式，image.save 正在失去 headers。我如何保留元数据或至少将其应用于新保存的图像？

我看到 post 暗示这个元数据在 exif 中，但我试图从原始文件中获取 exif 信息并应用于保存的文件，但没有成功。反正我不清楚它在exif数据中。

用于说明我在做什么的部分代码：

def resize_image(image_path):
    with Image.open(image_path) as image:
    image.save(upload_path, optimize=True)

def handler(event, context):
    global upload_path
    for record in event['Records']:
        bucket = record['s3']['bucket']['name']
        key = urllib.unquote_plus(event['Records'][0]['s3']['object']['key'].encode("utf8"))

        download_path = '/tmp/{}{}'.format(uuid.uuid4(), file_name)
        upload_path = '/tmp/resized-{}'.format(file_name)

        s3_client.download_file(bucket, key, download_path)

        resize_image(download_path)
        s3_client.upload_file(upload_path, '{}resized'.format(bucket), key)

感谢 Sergey，我改为使用 get_object 但响应缺少元数据：

response = s3_client.get_object(Bucket=bucket,Key=key)

response= {u'Body': , u'AcceptRanges': 'bytes', u'ContentType': 'image/jpeg', 'ResponseMetadata': {'HTTPStatusCode': 200, 'RetryAttempts': 0, 'HostId': 'au30hBMN37/ti0WCfDqlb3t9ehainumc9onVYWgu+CsrHtvG0u/zmgcOIvCCBKZgQrGoooZoW9o=', 'RequestId': '1A94D7F01914A787', 'HTTPHeaders': {'content-length': '84053 ', 'x-amz-id-2': 'au30hBMN37/ti0WCfDqlb3t9ehainumc9onVYWgu+CsrHtvG0u/zmgcOIvCCBKZgQrGoooZoW9o=', 'accept-ranges': 'bytes', 'expires': 'Sun, 01 Jan 2034 00:00:00 GMT', 'server': 'AmazonS3', 'last-modified': 'Fri, 23 Dec 2016 15:21:56 GMT', 'x-amz-request-id': '1A94D7F01914A787', 'etag': '"9ba59e5457da0dc40357f2b53715619d"', 'cache-control': 'max-age=2592000,public', 'date': 'Fri, 23 Dec 2016 15:21:58 GMT', 'content-type': 'image/jpeg'}}, u'LastModified': datetime.datetime(2016, 12, 23, 15, 21, 56, tzinfo=tzutc() ), u'ContentLength': 84053, u'Expires': datetime.datetime(2034, 1, 1, 0, 0, tzinfo=tzutc()), u'ETag': '"9ba59e5457da0dc40357f2b53715619d"', u' CacheControl': 'max-age=2592000,public', u'元数据': {}}

如果我使用：元数据=响应['ResponseMetadata']['HTTPHeaders']

元数据 = {'content-length': '84053', 'x-amz-id-2': 'f5UAhWzx7lulo3cMVF8hdVRbHnhdnjHWRDl+LDFkYm9pubjL0A01L5yWjgDjWRE4TjRnjqDeA0U=', 'accept-ranges': 'bytes', 'expires': 'Sun, 01 Jan 2034 00:00:00 GMT', 'server': 'AmazonS3', 'last-modified': 'Fri, 23 Dec 2016 15:47:09 GMT', 'x-amz-request-id': '4C69DF8A58EF3380', 'etag': '"9ba59e5457da0dc40357f2b53715619d"', 'cache-control': 'max-age=2592000,public', 'date': 'Fri, 23 Dec 2016 15:47:10 GMT', 'content-type': 'image/jpeg'}

节省 put_object

s3_client.put_object(Bucket=bucket+'resized',Key=key, Metadata=metadata, Body=downloadfile)

在 s3 中创建了大量额外的元数据，包括它不将 content-type 保存为 image/jpeg 而是保存为 binary/octet-stream 的事实，并且它确实创建了元数据 x-amz-元content-type = image/jpeg

Answer 1

您混淆了由 AWS S3 与对象一起存储的 S3 元数据和存储在文件本身内的 EXIF 元数据。

download_file() 没有从 S3 获取对象属性。您应该改用 get_object()：https://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.get_object

然后您可以使用具有相同属性的put_objects()上传新文件：https://boto3.readthedocs.io/en/latest/reference/services/s3.html#S3.Client.put_object

Answer 2

内容类型信息不在您上传的文件中，必须以某种方式猜测或提取。这是您必须手动或使用工具执行的操作。使用 fairly small dictionary 您可以猜出大多数文件类型。

上传文件或对象时，您可以指定其内容类型。否则 S3 默认为 application/octet-stream.

例如使用 boto3 python 包：

s3client.upload_file(
    Filename=local_path,
    Bucket=bucket,
    Key=remote_path,
    ExtraArgs={
        "ContentType": "image/jpeg"
    }
)

AWS S3 图像保存丢失元数据

AWS S3 image saving loses metadata

python

amazon-s3

python-imaging-library