使用Puppeteer拦截请求时如何获取原始编码响应大小？

Question

我使用此代码来记录在 Chrome 中加载页面时编码的响应大小：

const puppeteer = require("puppeteer");

(async function() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();

  page._client.on("Network.loadingFinished", data => {
    console.log("finished", { encodedDataLength: data.encodedDataLength });
  });

  // await page.setRequestInterception(true);
  // page.on("request", async request => {
  //   request.continue();
  // });

  await page.goto("http://example.com");
  await browser.close();
})();

这是输出：

完成{编码数据长度：967}

但是，如果我取消注释代码片段中的四行，输出将更改为：

完成 { 编码数据长度：0 }

这确实有一定道理，因为拦截的请求可能已被客户端以某种方式修改，并且此后不会再次对其进行 gzip 压缩。

但是，有没有办法访问原始 gzip 响应大小？

---

Chrome 跟踪也不包括 gzip 压缩后的大小：

“encodedDataLength”：0，“decodedBodyLength”：1270，

Answer 1

Content-Length对于这种情况，我们可以使用标头值。

谷歌的好人决定他们不会修复一些与encodedDataLength.

检查下面的代码和结果以查看证据。

page.on("request", async request => {
  request.continue();
});

// Monitor using _client
page._client.on("Network.responseReceived", ({ response }) => {
  console.log("responseReceived", [
    response.headers["Content-Length"],
    response.encodedDataLength
  ]);
});

page._client.on("Network.loadingFinished", data => {
  console.log("loadingFinished", [data.encodedDataLength]);
});

// Monitor using CDP
const devToolsResponses = new Map();
const devTools = await page.target().createCDPSession();
await devTools.send("Network.enable");

devTools.on("Network.responseReceived", event => {
  devToolsResponses.set(event.requestId, event.response);
});

devTools.on("Network.loadingFinished", event => {
  const response = devToolsResponses.get(event.requestId);
  const encodedBodyLength =
    event.encodedDataLength - response.headersText.length;
  console.log(`${encodedBodyLength} bytes for ${response.url}`);
});

没有setRequestInterception 的结果：

responseReceived [ '606', 361 ]
loadingFinished [ 967 ]
606 bytes for http://example.com/

setRequestInterception的结果：

responseReceived [ '606', 0 ]
loadingFinished [ 0 ]
-361 bytes for http://example.com/

使用多个 gzip 工具进行测试。到处都是同样的结果。

从各个方面来说，标Content-Length头都更加可靠。