将 S3 存储桶的内容复制到另一个存储桶 | 节点JS

Question

我想使用 AWS Lambda ( NodeJs )将一个 S3 存储桶的所有内容复制到另一个 S3 存储桶（在同一账户中）。

现在，我要做的是列出源存储桶的内容，然后将它们复制到目标存储桶中。

有没有更好的方法来复制所有内容？ 简而言之，我想要一个重复的存储桶。

我在 NodeJs 中的代码是：

    s3.listObjects(sourceBucketParams, function(err, data) {

        if (err) {
          console.log("Error while copying files: ", err);
        }

        if (data === null || data === undefined) {
            callback(null, 'All done!');
        }

        if (data.Contents.length) {
            async.each(data.Contents, function(file, cb) {

                var params = {
                    CopySource: sourceBucket + '/' + file.Key,
                    Bucket: destBucketName,
                    Key: file.Key,
                    ACL: 'public-read'
                };
                s3.copyObject(params, function(copyErr, copyData){
                       if (copyErr) {
                            console.log("Error: " + copyErr);
                         }
                     }
                 );
                 callback(null, 'All done!');
            });
        }
    });

Answer 1

AWS Lambda 似乎不是适合这里工作的工具。如果副本花费的时间超过最大 Lambda 运行时间怎么办？您可以编写一些内容来获取所有对象的列表，然后为每个对象触发一次 Lambda 函数，但这似乎有点矫枉过正。

如何运行一次性aws s3 sync 命令将一个存储桶的内容同步到另一个存储桶，然后使用 AWS S3 跨区域复制配置存储桶，以自动复制将来添加到存储桶的任何新对象？