Tensorflow DecodeJPEG：预期图像（JPEG、PNG 或 GIF），格式未知，以“\000\000\000\000\000\000\000\00”开头

Question

我正在循环浏览图像文件夹，这种情况一直在发生。

tensorflow.python.framework.errors_impl.InvalidArgumentError：预期图像（JPEG、PNG 或 GIF），格式未知，以 '\000\000\000\000\000\000\000\000\000\000\000\ 开头000\000\000\000\000' [[{{node DecodeJpeg}}]]

这个文件夹中有一些不是图像的文件，但它们应该被我的上一步过滤掉。任何人都知道发生了什么？

test_files_ds = tf.data.Dataset.list_files(myFolder + '/*.jpg') 

AUTOTUNE = tf.data.experimental.AUTOTUNE


def process_unlabeled_img(file_path):
    img = tf.io.read_file(file_path)
    img = tf.image.decode_jpeg(img, channels=3)
    img = tf.image.convert_image_dtype(img, tf.float32)
    img = tf.image.resize(images=img, size=(224, 224))
    return file_path, img

Answer 1

很难确切地知道什么是无需手头的文件下去，但什么是可能在这里发生的是，你必须在你的数据集中具有或者是文件.jpg，.jpeg，.png或.gif延长，但实际并非JPEG，GIF图像的PNG。因此，TensorFlow 无法正确加载它们。

解决这个问题的一种方法是检查你的文件，这些文件应该是图像，并删除那些不是实际的 JPEG、PNG 或 GIF 图像的文件。

检查文件是否为有效的JPEG、PNG 或 GIF 图像肯定比看起来更复杂，但检查文件签名/幻数（即文件的前几个字节）是一个好的开始，并且应该大部分时间解决你的问题。

因此，实际上，您可以通过多种不同的方式来执行此操作，其中一种方法是单独检查每张图片是否有效，并具有以下功能：

def is_image(filename, verbose=False):

    data = open(filename,'rb').read(10)

    # check if file is JPG or JPEG
    if data[:3] == b'\xff\xd8\xff':
        if verbose == True:
             print(filename+" is: JPG/JPEG.")
        return True

    # check if file is PNG
    if data[:8] == b'\x89\x50\x4e\x47\x0d\x0a\x1a\x0a':
        if verbose == True:
             print(filename+" is: PNG.")
        return True

    # check if file is GIF
    if data[:6] in [b'\x47\x49\x46\x38\x37\x61', b'\x47\x49\x46\x38\x39\x61']:
        if verbose == True:
             print(filename+" is: GIF.")
        return True

    return False

然后，您可以通过执行以下操作来摆脱您的无效图像（这将删除您的无效图像）：

import os

# go through all files in desired folder
for filename in os.listdir(folder):
     # check if file is actually an image file
     if is_image(filename, verbose=False) == False:
          # if the file is not valid, remove it
          os.remove(os. path. join(folder, filename))

现在，正如我所说，这可能会解决您的问题，但请注意，该功能is_image将无法确定文件是否可以读取为 JPG、JPEG、PNG 或 GIF 图像。这只是一个快速而肮脏的解决方案，可以消除绝大多数错误，但不是全部。