Javascript 将图像加载到 Offscreen Canvas 中，执行 webp 转换

Question

我最近使用画布将图像转换为 webp，使用：

const dataUrl = canvas.toDataURL('image/webp');

但是对于某些图像，这需要很多时间，例如 400 毫秒。

我收到了来自 Chrome 的警告，因为它阻止了 UI。

我想使用 Offscreen Canvas 在后台执行该转换。

但 ：

1) 我不知道我应该使用哪个屏幕外画布：a] new OffscreenCanvas() b] canvas.transferControlToOffscreen()

2) 我在 Image 对象 (img.src = url) 中加载本地图像 url 以获取本地图像的宽度和高度。但我不明白如何将 Image 对象转移到屏幕外的 Canvas，以便能够在 worker 中做到：

ctx.drawImage(img, 0, 0)

因为如果我不传输图像，worker 不知道 img。

Answer 1

您在这里面临XY 甚至 -Z 问题，但每个问题都可能有一个有用的答案，所以让我们深入研究。

十。不要使用画布 API 执行图像格式转换。canvas API 是有损的，无论您做什么，您都会从原始图像中丢失信息，即使您确实将无损图像传递给它，画布上绘制的图像也不会与原始图像相同。
如果您传递像 JPEG 这样已经有损的格式，它甚至会添加原始图像中没有的信息：压缩工件现在是原始位图的一部分，导出算法会将这些视为它应该保留的信息，使您的文件可能比你输入的 JPEG 文件大。

不知道你的用例，给你完美的建议有点困难，但一般来说，让版本的不同格式最接近原始图像，一旦它在浏览器中绘制，你至少也已经三步了晚了。

现在，如果您对该图像进行一些处理，您可能确实想要导出结果。
但是您可能不需要这里的 Web Worker。
是。在您的描述中花费最大阻塞时间的应该是同步toDataURL()调用。
您应该始终使用异步且性能更高的toBlob()方法，而不是 API 中的这个历史错误。在 99% 的情况下，无论如何你都不需要数据 URL，几乎所有你想对数据 URL 做的事情都应该直接用 Blob 完成。

使用这种方法，剩下的唯一繁重的同步操作将是画布上的绘画，除非您缩小一些巨大的图像，否则这不应花费 400 毫秒。

但是你无论如何都可以通过createImageBitmap方法在最新的画布上让它变得更好，它允许你异步准备你的图像，这样图像的解码就完成了，所有需要做的只是一个放置像素的操作：

large.onclick = e => process('https://upload.wikimedia.org/wikipedia/commons/c/cf/Black_hole_-_Messier_87.jpg');
medium.onclick = e => process('https://upload.wikimedia.org/wikipedia/commons/thumb/c/cf/Black_hole_-_Messier_87.jpg/1280px-Black_hole_-_Messier_87.jpg');

function process(url) {
  convertToWebp(url)
    .then(prepareDownload)
    .catch(console.error);
}

async function convertToWebp(url) {
  if(!supportWebpExport())
  console.warn("your browser doesn't support webp export, will default to png");

  let img = await loadImage(url);
  if(typeof window.createImageBitmap === 'function') {
    img = await createImageBitmap(img);
  }
  const ctx = get2DContext(img.width, img.height);

  console.time('only sync part');
  ctx.drawImage(img, 0,0);
  console.timeEnd('only sync part');
  
  return new Promise((res, rej) => {
    ctx.canvas.toBlob( blob => {
      if(!blob) rej(ctx.canvas);
      res(blob);
    }, 'image/webp');
  });
}

// some helpers

function loadImage(url) {
  return new Promise((res, rej) => {
    const img = new Image();
    img.crossOrigin = 'anonymous';
    img.src = url;
    img.onload = e => res(img);
    img.onerror = rej;
  });
}

function get2DContext(width = 300, height=150) {
  return Object.assign(
    document.createElement('canvas'),
    {width, height}
  ).getContext('2d');
}

function prepareDownload(blob) {
  const a = document.createElement('a');
  a.href = URL.createObjectURL(blob);
  a.download = 'image.' + blob.type.replace('image/', '');
  a.textContent = 'download';
  document.body.append(a);
}

function supportWebpExport() {
  return get2DContext(1,1).canvas
    .toDataURL('image/webp')
    .indexOf('image/webp') > -1;
}

<button id="large">convert large image (7,416 × 4,320 pixels)</button>
<button id="medium">convert medium image (1,280 × 746 pixels)</button>

Z。要从 Web Worker 在 OffscreenCanvas 上绘制图像，您将需要createImageBitmap上述内容。实际上，由该方法生成的 ImageBitmap 对象是drawImage()和texImage2D() (*) 可以接受的唯一图像源值，该值在 Workers 中可用（所有其他都是 DOM 元素）。

这个 ImageBitmap 是transferable，所以你可以从主线程生成它，然后将它发送给你的 Worker ，没有内存成本：

主文件

const img = new Image();
img.onload = e => {
  createImageBitmap(img).then(bmp => {
    // transfer it to your worker
    worker.postMessage({
      image: bmp // the key to retrieve it in `event.data`
    },
   [bmp] // transfer it
  );
};
img.src = url;

另一种解决方案是直接从 Worker 获取图像数据，并从获取的 Blob 生成 ImageBitmap 对象：

工人.js

const blob = await fetch(url).then(r => r.blob());
const img = await createImageBitmap(blob);
ctx.drawImage(img,0,0);

并注意，如果您在主页面中获得原始图像作为 Blob（例如来自 <input type="file">），那么甚至不要采用 HTMLImageElement 的方式，也不要采用获取方式，直接发送此 Blob并从中生成 ImageBitmap。

* ^{texImage2D实际上接受更多的源图像格式，例如 TypedArrays 和 ImageData 对象，但是这些 TypedArrays 应该代表像素数据，就像 ImageData 一样，为了拥有这些像素数据，您可能需要已经绘制了图像某处使用其他图像源格式之一。}