AWS Lambda 解压缩 gzip 文件，无需将文件保存在本地

Question

我正在尝试从 S3 存储桶 (.gzip) 获取文件并将其解压缩到另一个存储桶。如果不将文件保存在本地（我的 PC）上，我无法找到一种方法。有没有办法在 Lambda 上“保存”文件并直接在 S3 上解压缩？谢谢！

Answer 1

例如，这是一个 lambda 代码（要点）：

let path = require('path');
let aws = require('aws-sdk');
let s3Client = new aws.S3();
let zlib = require('zlib');
let s3s = require('s3-streams');

const output_bucket = "stackoverflow-bucket";

exports.handler = (event, context, callback) => {
    context.callbackWaitsForEmptyEventLoop = false;

    event.Records.forEach(record => {
        const params = {
            Bucket: record.s3.bucket.name,
            Key: record.s3.object.key
        };

        const isGzip = path.extname(params.Key) === ".gz";
        let readStream = s3Client.getObject(params).createReadStream();

        readStream = isGzip ? readStream.pipe(zlib.createGunzip()) : readStream;
        writeStream = s3s.WriteStream(s3Client, { Bucket: output_bucket, Key: path.basename(params.Key, ".gz") });

        // begins the actual streaming
        readStream.pipe(writeStream);

        writeStream.on('end', () => {
            callback(null, `Handled ${JSON.stringify(params)}`);
        });
    });
};

请注意，此代码使用第 3 方库将字节流式传输到 S3（Node.JS SDK 本身不支持）。

为此，此处的文档页面描述了在将 lambda 上传到 AWS 之前应如何打包它。

您可以设置一个 S3 事件以在新文件放入源存储桶时触发 lambda：