Node v12.7 如何实现原生brotli、gzip、deflate压缩缓冲

Question

我是一名前端开发人员，在后端加强了我的工作。

我有一个 Node express 服务器，它托管一个应用程序并在同一服务器/AWS EC2 实例上提供 REST api。

我正在使用express-static-gzip npm 包来为静态应用程序包和资产启用 brotli 压缩。这太棒了。然而，由于手机无法处理海量数据集解析，我不得不为 Three.js 对象切换到 SSR。不幸的是，它没有对我的 REST 数据应用压缩。

目前，在此期间我禁用了 express-static-gzip 并启用了压缩npm 包。这仅启用 gzip，但同时适用于静态包和 REST API。

我特别需要在静态包和 REST API 上使用带有 GZIP/Deflate 回退压缩的 Brotli。未压缩的最大 GET 请求可以是 138MB。GZIP 将其压缩到 12.8MB。我希望 Brotli 的大小低于 10MB。

我的目的是让 express-static-gzip 在我的包上运行压缩，并在我的 REST API 上手动压缩节点 zlib。如果这不可行，那么手动节点 zlib 压缩所有内容！

我不明白一些关于缓冲区和后端类型的事情......也许你可以告诉我我在这里做错了什么：

app.get('/quakeData/:index', function(req, res){
    // Send Specific Selection or All
    const encoding = req.headers['accept-encoding'], 
          index    = req.params.index,
          jsonArr  = index != "all" ? [ quakes[index], threeData[index] ] : [ quakes, threeData ],
          jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr);

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            !err ? res.send(result) : console.warn(err);
        })

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        res.json(jsonArr);
    }

另外，我意识到压缩模块删除了 Content Length 标头，因为我的 XHR Progress API 代码停止工作。无论实现什么解决方案，我都需要有 Content Length 标头。我该怎么做？另外，有没有办法设置 GET 来提前接收内容长度以估计下载时间？

非常感谢你！

Answer 1

我已经得到了这个工作。尽管现在我遇到了如何使用不同压缩选项动态选择时间范围的问题。我将不得不修改它，因为压缩数据需要很长时间。

很明显，Brotli 远胜于其他人。我想当我重构和测试我的每月数据时，节省的数据会令人印象深刻。下面是我的代码，使上述工作。当然，它正在压缩每个 API 请求，这在生产中没有意义，但有利于测试。

（更新）我将代码重构为更最终的实现，包括写入 txt 文件等。但是没有提供代码，这里是 Brotli 与 GZIP 的最终压缩字节长度比较。GZIP 提供更快的压缩，尽管尺寸更大。

Brotli: [ 5433, 137501, 952538, 6438971 ]

GZIP: [ 6818, 194843, 1544908, 10451525 ]

上面的字节长度数组分别用于每小时、每天、每周和每月的数据集。压缩前的月度数据集约为 138MB。

此外，仅供参考，XHR 进度 API 已被破坏，因此即使您发送字节大小的内容标头，它也无法正常工作。我必须创建一个单独的 API 来在数据 AJAX 之前发送字节长度。

const jsonStr  = JSON.stringify(jsonArr),
          bData    = Buffer.from(jsonStr, 'utf-8');

    if (encoding.includes('br')) {
        console.log("BROTLI RES");
        zlib.brotliCompress(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'br',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('gzip')) {
        console.log("GZIP RES");
        zlib.gzip(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'gzip',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else if (encoding.includes('deflate')) {
        console.log("DEFLATE RES");
        zlib.deflate(bData, (err, result) => {
            console.log(result);
            res.writeHead(200, {
                'Content-Type':     'application/json',
                'Content-Encoding': 'deflate',
                'Content-Length':   bData.length
            });

            !err ? res.end(result) : console.warn(err);
        });

    } else {
        console.warn("Unsupported Content Encoding Headers");
        res.setHeader('Content-Type', 'application/json');
        return res.json(compressed);
    }