AWS nodejs 微服务：当 S3 存储桶中的文件更改时迭代调用服务

Question

我使用 nodejs 在 lambda 上创建了一个微服务，以在 S3 存储桶中生成我的图像的缩略图。但是，在我将新图像上传到 S3 存储桶后，它并没有被触发。我将触发事件类型设置为创建的 S3 对象。我还将我的测试事件配置为："eventName": "ObjectCreated:*" 这意味着当某些文件在存储桶中 created/changed 时，它应该触发测试事件并调用此 lambda 函数。我还在存储桶端设置了相同的通知配置。我第一次从这个例子创建这个 lambda 函数时它对我有用：Create a deployment package

该函数仅适用于确切的文件 "HappyFace.jpg"，但对所有其他图像均无效。有时我会收到 "Access Denied" 错误。我正在使用以下代码：

// dependencies
var async = require('async');
var AWS = require('aws-sdk');
var gm = require('gm')
            .subClass({ imageMagick: true }); // Enable ImageMagick integration.
var util = require('util');
var utils = require('utils');

// constants
var MAX_WIDTH  = 100;
var MAX_HEIGHT = 100;

// get reference to S3 client 
var s3 = new AWS.S3();

exports.handler = function(event, context, callback) {
    // Read options from the event.
    console.log("Reading options from event:\n", util.inspect(event, {depth: 5}));
    var srcBucket = event.Records[0].s3.bucket.name;
    // Object key may have spaces or unicode non-ASCII characters.
    var srcKey    =
    decodeURIComponent(event.Records[0].s3.object.key.replace(/\+/g, " "));  
    var dstBucket = srcBucket + "-resized";
    var dstKey    = "resized-" + srcKey;

    // Sanity check: validate that source and destination are different buckets.
    if (srcBucket == dstBucket) {
        callback("Source and destination buckets are the same.");
        return;
    }

    // Infer the image type.
    var typeMatch = srcKey.match(/\.([^.]*)$/);
    if (!typeMatch) {
        callback("Could not determine the image type.");
        return;
    }
    var imageType = typeMatch[1];
    if (imageType != "jpg" && imageType != "png") {
        callback('Unsupported image type: ${imageType}');
        return;
    }

    // Download the image from S3, transform, and upload to a different S3 bucket.
    async.waterfall([
        function download(next) {
            // Download the image from S3 into a buffer.
            s3.getObject({
                    Bucket: srcBucket,
                    Key: srcKey
                },
                next);
            },
        function transform(response, next) {
            gm(response.Body).size(function(err, size) {
                // Infer the scaling factor to avoid stretching the image unnaturally.
                var scalingFactor = Math.min(
                    MAX_WIDTH / size.width,
                    MAX_HEIGHT / size.height
                );
                var width  = scalingFactor * size.width;
                var height = scalingFactor * size.height;

                // Transform the image buffer in memory.
                this.resize(width, height)
                    .toBuffer(imageType, function(err, buffer) {
                        if (err) {
                            next(err);
                        } else {
                            next(null, response.ContentType, buffer);
                        }
                    });
            });
        },
        function upload(contentType, data, next) {
            // Stream the transformed image to a different S3 bucket.
            s3.putObject({
                    Bucket: dstBucket,
                    Key: dstKey,
                    Body: data,
                    ContentType: contentType
                },
                next);
            }
        ], function (err) {
            if (err) {
                console.error(
                    'Unable to resize ' + srcBucket + '/' + srcKey +
                    ' and upload to ' + dstBucket + '/' + dstKey +
                    ' due to an error: ' + err
                );
            } else {
                console.log(
                    'Successfully resized ' + srcBucket + '/' + srcKey +
                    ' and uploaded to ' + dstBucket + '/' + dstKey
                );
            }

            callback(null, "message");
        }
    );
};

并且在下载前配置了类型匹配。我尝试使用 s3.ListObjects，但它在逻辑上对我来说没有意义。由于 lambda 可以由上传事件触发，每次我上传新图像时都应该为该图像调用它，所以我不想每次都列出对象。

更新：

获得管理员权限后，我解决了访问被拒绝的问题。它启发了我检查我安装的节点包。我们可能会通过这种方式进行故障排除。但是，在我从 npm 安装 'utils' 之后，我无法为现有文件调用该函数。

Answer 1

access denied 错误可能不是 IAM/S3 bucket/lambda 权限问题。如果您的服务无法在您的 S3 存储桶中找到给定的密钥，它也会向请求者 return access denied 错误。因为 returning NoSuchKey 会泄漏有关所请求密钥不存在的信息。作为参考，请检查此 link：Causes of Access Denied Error

至于如何迭代调用lambda函数，你绝对不需要在你的代码中调用s3.ListObject()，因为那会降低你的性能。但是这个 link 可能会帮助您自定义函数：Listing Large S3 Buckets with the AWS SDK for Node.js。在此问题的给定示例中，请注意它们包含 util 包：

var util = require('util');

但是他们如何使用 npm 安装是通过这个命令行：

npm install async gm

如果你想让函数被迭代调用，你还想通过npm install utils通过npm安装“utils”。当它在您的存储桶中迭代工作时，您可能会收到某些文件的 access denied 错误，因为您可能没有在事件中配置密钥。你可以忽略它。

更新

我也设法把原图和缩略图放在同一个桶里，你需要做的是两件事：

通过检查前缀或后缀跳过缩略图。
设置超时间隔。既然我们使用的是'async'，那么瀑布函数就不需要setTimeout了，我们可以在瀑布外设置，在handler里面设置。并且您还可以在 GUI 中设置超时和时间安排事件。

重要更新：

不幸的是，我原来的解决方案并不完美。我得到了另一个更安全的解决方案。分为三个步骤：

将您的 S3 存储桶配置为 SQS 队列。
在异步循环（或 setInterval）中监听每条传入消息。
在异步循环中为每条 SQS 消息执行缩略图功能。

代码大致如下：

s3.listObjects({Bucket:"myBucket",Delimiter:"",Prefix:""}, function (err, data) {
    if (err) throw err;

    thumbnail(event, function(err){})
});

setInterval(function() {
    console.log("Pause");
    sqs.receiveMessage(receiveParams, function(err,data){
        console.log("Calling");
        if (err) {
            console.log(err);
        }
        else {
            if (data.Messages != null)
            {
                thumbnail(data.Messages[0].Body, function(err){
                    if (err) {
                        console.log(err);
                    }
                });
            }
        }
    });
}, 1000);

AWS nodejs 微服务：当 S3 存储桶中的文件更改时迭代调用服务

AWS nodejs microservice: Iteratively invoke service when files in S3 bucket changed

amazon-s3

amazon-web-services

node.js

aws-sdk

aws-lambda

重要更新：