使用 Pako 在 Javascript 中提取 gzip 数据 - 编码问题

Question

我正在尝试运行我期望的一个非常常见的用例：

我需要从 Amazon S3 下载一个 gzip 文件（复杂的 JSON 数据集），并在 Javascript 中解压缩（gunzip）它。除了最后的“充气”步骤外，我一切正常。

我正在使用 Amazon Gateway，并且已经确认网关正在正确传输压缩文件（使用 Curl 和 7-zip 来验证结果数据是否来自 API）。不幸的是，当我尝试使用 Pako 在 Javascript 中扩充数据时，出现错误。

这是我的代码（注意：response.data 是从 AWS 传输的二进制数据）：

apigClient.dataGet(params, {}, {})
      .then( (response) => {
        console.log(response);  //shows response including header and data

        const result = pako.inflate(new Uint8Array(response.data), { to: 'string' });
        // ERROR HERE: 'buffer error'  

      }).catch ( (itemGetError) => {
        console.log(itemGetError);
      });

还尝试了一个版本，通过在膨胀之前添加以下内容将二进制数据输入拆分为数组：

const charData = response.data.split('').map(function(x){return x.charCodeAt(0); });
const binData = new Uint8Array(charData);
const result = pako.inflate(binData, { to: 'string' });
//ERROR: incorrect header check

我怀疑我的数据编码存在某种问题，并且我没有将其转换为 Uint8Array 有意义的正确格式。

任何人都可以指出我正确的方向以使其正常工作吗？

为清楚起见：

• 由于列出了上面的代码，我收到了缓冲区错误。如果我删除 Uint8Array，并尝试处理“result.data”，我会收到错误：“不正确的标头检查”，这让我怀疑这是我的数据的编码/格式问题。

• 原始文件在 Java 中使用 GZIPOutputStream 和 UTF-8 进行压缩，然后存储为静态文件（即 randomname.gz）。

• 该文件以二进制形式通过 AWS 网关传输，因此它与原始文件完全相同，因此 'curl --output filename.gz {URLtoS3Gateway}' === 从 S3 下载的文件。

• 当我使用网关将二进制数据编码为“base64”时，我遇到了同样的基本问题，但并没有尝试过很多围绕这项工作，因为使用“真实”二进制数据似乎比添加 base64 更容易在中间编码/解码。如果这是必要的步骤，我可以将其重新添加。

我还尝试了在此问题中途发现的一些示例处理：https : //github.com/nodeca/pako/issues/15，但这没有帮助（我可能误解了二进制格式 v.array v base64 ）。

Answer 1

我能够弄清楚我自己的问题。它与 Javascript 读取的数据格式有关（Javascript 本身或 Angular HttpClient 实现）。我正在阅读“二进制”格式，但它与 pako 识别/使用的格式不同。当我以 base64 格式读取数据，然后使用 'atob' 转换为二进制文件时，我能够让它正常工作。这是我实际实现的（从 S3 文件存储中获取）。

1) 构建 AWS API Gateway，它将从 S3 读取先前存储的 *.gz 文件。

• 为支持二进制的 S3 创建一个标准的“get”API 请求。（http://docs.aws.amazon.com/apigateway/latest/developerguide/api-gateway-payload-encodings-configure-with-console.html）
• 通过设置“二进制类型”确保网关能够识别输入类型（application/gzip 对我有用，但其他像 application/binary-octet 和 image/png 应该适用于除 *.gz 之外的其他类型的文件）。注意：该设置位于 API 配置屏幕左侧的主 API 选择列表下。
• 通过选择 API 方法/{GET} -> 集成请求框并更新“内容处理”项，将“内容处理”设置为“转换为文本（如果需要）”。（注意：上面链接中的示例推荐“直通”。不要使用它，因为它会传递不可读的二进制格式。）这是实际从二进制转换为 base64 的步骤。

此时，您应该能够通过 URL 下载二进制文件的 base64 版本（在浏览器中或使用 Curl 测试）。

2) 然后我让 API Gateway 生成 SDK 并使用相应的 apiGClient.{get} 调用。

3) 在调用中，翻译 base64->binary->Uint8，然后解压/膨胀它。我的代码：

    apigClient.myDataGet(params, {}, {})
      .then( (response) => {
        // HttpClient result is in response.data
        // convert the incoming base64 -> binary
        const strData = atob(response.data);

        // split it into an array rather than a "string"
        const charData = strData.split('').map(function(x){return x.charCodeAt(0); });

        // convert to binary
        const binData = new Uint8Array(charData);

        // inflate
        const result = pako.inflate(binData, { to: 'string' });
        console.log(result);
      }).catch ( (itemGetError) => {
        console.log(itemGetError);
      });
  }