压缩 AWS Lambda 响应以避免 6MB 限制的好方法是什么？

Question

我有 Lambda，它对 DynamoDB 执行多次调用，创建一个大型字符串化 JSON 对象作为响应，并通过 API 网关传递到客户端应用程序。当然，API Gateway 具有“启用内容编码”选项集，并且所有数据都以压缩形式通过互联网传递。

问题在于 Lambda 响应本身未压缩，并且达到了 6MB 响应限制。是否可以压缩 Lambda 响应，然后以某种自然的方式在客户端解压缩？

我检查了 JSZip 和 ADM Zip 等 Node.js 库，令我惊讶的是，尽管它们允许在内存中输出解压数据，但它们不允许在内存中输入，如字符串、缓冲区或其他内容，而仅允许文件。Lambda 已经有一些与处理文件相关的限制和意外，因此我想避免以下冗余工作流程：

1. 创建 JSON 对象
2. 将其保存为 lambda 环境中的临时文件
3. 通过压缩库加载文件进行压缩并返回API网关

有没有更自然的方法来处理这个问题？

Answer 1

尽管我同意使用分页或 S3 更适合大量数据，但您可以压缩从 Lambda 函数返回的响应，以避免在需要时达到 6MB 限制。

不幸的是，尽管 API Gateway 现在支持 gzip 等内容编码，但我的理解是，在 API Gateway 对其进行压缩之前，Lambda 函数的响应仍然需要低于 6MB 限制。我对此不是100%确定，所以如果我错了，请有人纠正我。

好消息是，node.js 标准库现在通过 zlib 模块内置了对 gzip 的支持。我用它来压缩刚刚超过 6MB 的响应，并将大小减少了大约 78%。这样做的缺点是我必须在 Angular 客户端应用程序中手动解压缩数据（为此我使用了 pako npm 库）。

像下面这样的东西对我来说效果很好（Typescript 4 + node.js 12）：

import { APIGatewayEvent, APIGatewayProxyResult } from 'aws-lambda';
import { gzip } from 'zlib';

export const handler = async (event: APIGatewayEvent): Promise<APIGatewayProxyResult> => {
  const response = { some: 'data' };

  const gzippedResponse = await gzipString(JSON.stringify(response));

  return {
    statusCode: 200,
    body: JSON.stringify({ data: gzippedResponse.toString('base64') }),
  };
};

const gzipString = async (input: string): Promise<Buffer> => {
  const buffer = Buffer.from(input);
  return new Promise((resolve, reject) => gzip(buffer, (err, data) => {
    if (err) {
      reject(err);
    }
    resolve(data);
  }));
};

Answer 2

我遵循了下一个方法。对于后端：

const { deflate, unzip } = require("zlib");
const { promisify } = require("util");

const asyncDeflate = promisify(deflate);

async zip(object) {
    return (await asyncDeflate(JSON.stringify(object))).toString("base64");`
}

对于前端：

import * as pako from "pako";

export function unzip(base64str: string) {
  const strData = atob(base64str);

  // Convert binary string to character-number array
  const charData = strData.split("").map((x) => { return x.charCodeAt(0); });

  // Turn number array into byte-array
  const binData = new Uint8Array(charData);

  return JSON.parse(pako.inflate(binData, { to: "string" }));
}

所以它与最近的答案非常相似。