为什么使用 PIL 和 pytorch 对图像进行双线性缩放会产生不同的结果？

Question

为了将图像提供给 pytorch 网络，我首先需要将其缩小到某个固定大小。起初我使用 PIL.Image.resize() 方法完成了它，插值模式设置为 BILINEAR。然后我认为首先将一批图像转换为 pytorch 张量然后使用 torch.nn.functional.interpolate() 函数在 GPU 上一次缩放整个张量会更方便（“双线性”插值模式也是如此） . 这会导致模型精度降低，因为现在在推理过程中，一种缩放（火炬）与训练（PIL）期间使用的缩放类型不同。之后，我在视觉上比较了两种缩小比例的方法，发现它们产生了不同的结果。枕头缩小看起来更平滑。尽管它们都是双线性的，但这些方法是否在幕后执行不同的操作？如果是这样的话，

原始图像（著名的 Lenna 图像）

枕头缩放图像：

火炬缩放图像：

平均通道绝对差图：

演示代码：

import numpy as np
from PIL import Image
import torch
import torch.nn.functional as F
from torchvision import transforms
import matplotlib.pyplot as plt

pil_to_torch = transforms.ToTensor()
res_shape = (128, 128)


pil_img = Image.open('Lenna.png')
torch_img = pil_to_torch(pil_img)

pil_image_scaled = pil_img.resize(res_shape, Image.BILINEAR)
torch_img_scaled = F.interpolate(torch_img.unsqueeze(0), res_shape, mode='bilinear').squeeze(0)

pil_image_scaled_on_torch = pil_to_torch(pil_image_scaled)
relative_diff = torch.abs((pil_image_scaled_on_torch - torch_img_scaled) / pil_image_scaled_on_torch).mean().item()
print('relative pixel diff:', relative_diff)

pil_image_scaled_numpy = pil_image_scaled_on_torch.cpu().numpy().transpose([1, 2, 0])
torch_img_scaled_numpy = torch_img_scaled.cpu().numpy().transpose([1, 2, 0])
plt.imsave('pil_scaled.png', pil_image_scaled_numpy)
plt.imsave('torch_scaled.png', torch_img_scaled_numpy)
plt.imsave('mean_diff.png', np.abs(pil_image_scaled_numpy - torch_img_scaled_numpy).mean(-1))

Python 3.6.6，要求：

cycler==0.10.0
kiwisolver==1.1.0
matplotlib==3.2.1
numpy==1.18.2
Pillow==7.0.0
pyparsing==2.4.6
python-dateutil==2.8.1
six==1.14.0
torch==1.4.0
torchvision==0.5.0

Answer 1

“双线性插值”是一种插值方法。

但是缩小图像不一定只使用插值来完成。

可以简单地将图像重新采样为较低的采样率，使用插值方法计算与旧样本不一致的新样本。但这会导致混叠（当图像中的高频分量无法以较低的采样密度表示时，就会出现混叠，将这些高频的能量“混叠”到低频分量上；也就是说，新的低频分量出现在重采样后的图像）。

为避免混叠，一些库在重新采样之前应用低通滤波器（去除不能以较低采样频率表示的高频）。这些库中的子采样算法不仅仅是插值。

您看到的区别是因为这两个库采用不同的方法，一个尝试通过低通滤波避免混叠，另一个则没有。

要在 Torch 中获得与 Pillow 中相同的结果，您需要自己明确地对图像进行低通滤波。要获得相同的结果，您必须准确地弄清楚 Pillow 是如何过滤图像的，有不同的方法和不同的可能参数设置。查看源代码是了解它们究竟做了什么的最好方法。