Keras ImageDataGenerator 用于在单独的目录中使用图像和掩码进行分割

Question

我正在尝试使用tensorflow.keras. 我使用的数据集将图像和掩码存储在单独的目录中，每个文件名都有一个 id，用于将图像文件与其各自的掩码映射。

以下是我的数据集目录的结构：

new
   - rendered_imges
      - render
         - image_1.tif
         - image_2.tif
         - image_3.tif
   - ground_truths
      - masks
         - mask_1.tif
         - mask_2.tif
         - mask_3.tif

在上面的目录结构中，image_{i}.tif对应于mask_{i}.tif.

我尝试编写一个ImageDataGenerator以完全相同的方式增强图像及其各自的蒙版。我的方法如下：

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

使用上述方法，虽然我对图像和蒙版应用了相同的增强，但图像并没有根据它们的文件名与各自的蒙版配对。如果有人可以建议一种使用 Keras 或 Tensorflow 正确执行此操作的方法，那就太好了。

Answer 1

您将需要创建一个新函数，该函数将生成训练图像和相应的掩码，您将使用这些掩码将其输入到fit_generator方法中。具体来说，工作的方式fit_generator是产生一个元组序列，元组的第一个元素是图像，元组的第二个元素是预期的输出。通过简单地单独使用数据生成器，子目录将隐式编码图像的预期标签。当您尝试进行语义分割时，情况当然不再如此。

因此，创建一个新函数，该函数将输出一组元组，为您提供图像和掩码。总而言之，您只需将ImageDataGenerators创建的两个图像zip放在一起，然后创建一个循环，生成每批训练图像和预期的输出标签。

我需要提到的最后一件事是，如果您想成功地将图像和相应的掩码配对，两个目录的文件名需要匹配。例如，如果您1.tif在rendered_imges/render子目录中调用了一个训练图像，则需要在ground_truths/mask. 原因是即使你匹配了种子，它也会在将图像加载到内存之前随机选择文件名，因此为了确保训练图像和相应掩码之间保持相同的选择顺序，它们的文件名也需要匹配. 在我们继续之前，请确保您这样做。

因此，请执行以下操作：

def my_image_mask_generator(image_data_generator, mask_data_generator):
    train_generator = zip(image_data_generator, mask_data_generator)
    for (img, mask) in train_generator:
        yield (img, mask)

接下来，像往常一样创建数据生成器：

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

最后，fit_generator在您的模型上调用该方法。假设您已经正确构建了模型：

from keras.optimizers import Adam
# Your other related imports here...

# Create custom generator for training images and masks
my_generator = my_image_mask_generator(image_data_generator, mask_data_generator)

model = ... # Define your model here
# Compile your model here
model.compile(optimizer = Adam(lr = 1e-4), loss = 'binary_crossentropy', metrics = ['accuracy'])

# Train your model here
model.fit_generator(my_generator,...)

请注意，鉴于您的目录结构，您似乎正在对每个图像执行二进制分割，这就是我选择二进制交叉熵作为损失函数的原因。