AWS Lambda 使用文件版本控制列出 S3 存储桶对象和子目录

Ale*_*lix 5 amazon-s3 node.js aws-sdk aws-lambda

我是 lambda 的新手,并试图列出具有嵌套子目录的 S3 存储桶对象,这是结构:

- mybucket/folder1/project1/samplev1.txt
- mybucket/folder1/project1/sampleVer2.txt
- mybucket/folder2/
- mybucket/folder3/
Run Code Online (Sandbox Code Playgroud)

这是我的 lambda 代码:

const AWS = require('aws-sdk');
const s3 = new AWS.S3();

exports.handler = async (event) => {
  const allKeys = [];
  await getKeys({ Bucket: 'ru-mybucket' }, allKeys);
  console.log(allKeys)
  return allKeys;
};

async function getKeys(params, keys){
  const response = await s3.listObjectsV2(params).promise();
  response.Contents.forEach(obj => keys.push(obj.Key));

  if (response.IsTruncated) {
    const newParams = Object.assign({}, params);
    newParams.ContinuationToken = response.NextContinuationToken;
    await getKeys(newParams, keys); // RECURSIVE CALL
  }
}
Run Code Online (Sandbox Code Playgroud)

该函数列出了我的存储桶中的所有对象键及其嵌套的子目录和文件,问题是如何列出嵌套对象,包括它们的版本,我该如何实现?在哪里添加 (listObjectVersions) 在我的代码中能够循环遍历具有版本的对象?

ene*_*nas 4

我已经为您完成了这段代码,在这个示例中您可以看到单元测试及其实现(apigateway)。

基本上,我从存储桶中检索了所有密钥,然后迭代它们。最后我得到了所有对象,并且我查询s3.listObjectsV2并传递两个参数:存储桶和密钥。

下面是伪代码:

s3.listObjectsV2({ Bucket: your_bucket, MaxKeys: 1000 }).forEach( element => {
   s3.listObjectVersions({ Bucket: your_bucket, Prefix: element.Key})
})
Run Code Online (Sandbox Code Playgroud)

为了运行代码示例,您必须运行以下命令:

npm install
npm run deploy
Run Code Online (Sandbox Code Playgroud)

为此,您可以测试代码:

npm run test
Run Code Online (Sandbox Code Playgroud)

别忘了放上你的水桶:

./package.json
./tests/test.js
Run Code Online (Sandbox Code Playgroud)

重要提示:我为此解决方案使用了无服务器框架。