Keras ImageDataGenerator 用于在单独的目录中使用图像和蒙版进行分割

Question

我正在尝试使用 tensorflow.keras 构建语义分割模型。我正在使用的数据集将图像和遮罩存储在单独的目录中，每个文件名都有一个 id，用于将图像文件映射到其各自的遮罩。

以下是我的数据集目录的结构：

new
   - rendered_imges
      - render
         - image_1.tif
         - image_2.tif
         - image_3.tif
   - ground_truths
      - masks
         - mask_1.tif
         - mask_2.tif
         - mask_3.tif

上述目录结构中，image_{i}.tif对应mask_{i}.tif.

我尝试编写一个 ImageDataGenerator 以完全相同的方式增强图像及其各自的蒙版。我的方法如下：

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

通过上述方法，尽管我对图像和蒙版应用了相同的增强功能，但图像并未根据文件名与各自的蒙版配对。如果有人可以建议使用 Keras 或 Tensorflow 正确执行此操作的方法，那就太好了。

Answer 1

您将需要创建一个新函数来生成训练图像和相应的掩码，您将使用这些掩码输入 fit_generator 方法。具体来说，fit_generator 的工作方式是生成一个元组序列，元组的第一个元素是图像，元组的第二个元素是预期的输出。通过简单地单独使用数据生成器，sub-directories 将隐式编码图像的预期标签。当您尝试进行语义分割时，这当然不再是这种情况。

因此，创建一个新函数，它将输出一组元组，为您提供图像和遮罩。总而言之，您只需将创建的两个 ImageDataGenerators zip 放在一起，然后创建一个循环，生成每批训练图像和预期的输出标签。

最后一件事我需要提及的是，如果要成功配对图像和相应的遮罩，两个目录的 文件名需要匹配 。例如，如果您的 rendered_imges/render 子目录中有一个名为 1.tif 的训练图像，则需要以与 ground_truths/mask 中相同的方式命名相应的掩码。原因是即使你匹配种子，它也会在将图像加载到内存之前随机选择文件名，所以为了确保训练图像和相应掩码之间保持相同的选择顺序，它们的文件名也需要匹配.在我们继续这里之前，请确保你这样做了。

因此，做这样的事情：

def my_image_mask_generator(image_data_generator, mask_data_generator):
    train_generator = zip(image_data_generator, mask_data_generator)
    for (img, mask) in train_generator:
        yield (img, mask)

接下来，像往常一样创建数据生成器：

SEED = 100

image_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/rendered_images', batch_size = 16, target_size = (150, 150), seed = SEED)

mask_data_generator = ImageDataGenerator(
    width_shift_range = 0.1,
    height_shift_range = 0.1,
    rotation_range = 10,
    zoom_range = 0.1
).flow_from_directory('./new/ground_truths', batch_size = 16, target_size = (150, 150), seed = SEED)

最后，在您的模型上调用 fit_generator 方法。假设您已经正确构建了模型：

from keras.optimizers import Adam
# Your other related imports here...

# Create custom generator for training images and masks
my_generator = my_image_mask_generator(image_data_generator, mask_data_generator)

model = ... # Define your model here
# Compile your model here
model.compile(optimizer = Adam(lr = 1e-4), loss = 'binary_crossentropy', metrics = ['accuracy'])

# Train your model here
model.fit_generator(my_generator,...)

请注意，鉴于您的目录结构，您似乎正在对每个图像执行二进制分割，所以这就是我选择二进制 cross-entropy 作为损失函数的原因。

Keras ImageDataGenerator 用于在单独的目录中使用图像和蒙版进行分割

Keras ImageDataGenerator for segmentation with images and masks in separate directories

python

image-segmentation

deep-learning

keras

tensorflow