PIL.Image.open 和 tf.image.decode_jpeg 返回值的区别

Question

我使用 PIL.Image.open 和 tf.image.decode_jpeg 将图像文件解析为数组。但是发现PIL.Image.open()中的像素值和tf.image.decode_jpeg不一样。为什么会发生这种情况？

谢谢 ！

代码输出：

tf 100 100 [132 145 161]
pil 100 100 [134 147 164]

我的代码：

from __future__ import absolute_import
from __future__ import division
from __future__ import print_function

from datetime import datetime
import math
import time

import numpy as np
import tensorflow as tf

def decode_jpeg(image_file):
  from PIL import Image
  im = Image.open(image_file)
  data = np.array(im)
  return data

def tfimageread(filenames):
  filename_queue = tf.train.string_input_producer(filenames)
  reader = tf.WholeFileReader(name='image_reader')
  key, value = reader.read(filename_queue)
  uint8image = tf.image.decode_jpeg(value, channels=3)

  with tf.Session() as sess:
    coord = tf.train.Coordinator()
    threads = []
    for qr in tf.get_collection(tf.GraphKeys.QUEUE_RUNNERS):
      threads.extend(qr.create_threads(sess, coord=coord, daemon=True, start=True))
    image = sess.run(uint8image)
    coord.request_stop()
    coord.join(threads, stop_grace_period_secs=10)
    return image

if __name__ == '__main__':
  image_file = '?/o_1bchv9keu625336862107241874241888.jpg'
  image_tf = tfimageread([image_file])
  image_pil = decode_jpeg(image_file)
  i, j = 100, 100
  print ("tf %d %d %s" % (i,j,image_tf[i][j]))
  print ("pil %d %d %s" % (i,j,image_pil[i][j]))

Answer 1

造成此问题的一个常见原因是张量流在解压缩 jpeg 时尝试走捷径。这为图像读取提供了相当大的加速，这可能是训练某些 CNN 的瓶颈，但确实会稍微抖动像素值。

幸运的是，开发人员已经提供了关闭其中一些效率的选项。特别是，请检查论证 dct_method。

尝试将您的呼叫更改为tf.image.decode_jpeg：

tf.image.decode_jpeg(value, channels=3, dct_method='INTEGER_ACCURATE')

您可能还需要fancy_upscaling根据您正在阅读的图像类型以及您的软件正在使用的 libjpeg 底层版本中发生的其他事情进行处理。