如何使用 Keras 生成器选择batch_size、steps_per_epoch 和 epoch

Question

我正在为图像分类问题训练 2 个不同的 CNN（自定义学习和迁移学习）。我对两种型号使用相同的发电机。该数据集包含 5 个类别的 5000 个样本，但不平衡。

这是我正在使用的自定义模型。

def __init__(self, transfer_learning = False, lambda_reg = 0.001, drop_out_rate = 0.1):
    if(transfer_learning == False):
        self.model = Sequential();
        self.model.add(Conv2D(32, (3,3), input_shape = (224,224,3), activation = "relu"))
        self.model.add(MaxPooling2D(pool_size = (2,2)))

        self.model.add(Conv2D(64, (1,1), activation = "relu"))
        self.model.add(MaxPooling2D(pool_size = (2,2)))

        self.model.add(Conv2D(128, (3,3), activation = "relu"))
        self.model.add(MaxPooling2D(pool_size = (2,2)))

        self.model.add(Conv2D(128, (1,1), activation = "relu"))
        self.model.add(MaxPooling2D(pool_size = (2,2)))

        self.model.add(Flatten())

        self.model.add(Dense(512))
        self.model.add(Dropout(drop_out_rate))
        self.model.add(Dense(256))
        self.model.add(Dropout(drop_out_rate))

        self.model.add(Dense(5, activation = "softmax"))

steps_per_epoch所以我无法理解和之间的关系batch_size。 batch_size是生成器发送的样本数。但完成一个训练 epochsteps_per_epoch的数量是多少呢？batch_size如果是这样，那么应该是：steps_per_epoch = total_samples/batch_size?

无论我尝试什么值，我总是遇到同样的问题（在两个模型上），val_acc似乎达到了局部最优。

Answer 1

您在这里混合了两个问题。一是如何确定batch_size与steps_per_epoch；另一个是为什么 val_acc 似乎达到了局部最优并且不会继续改进。

(1) 对于问题--batch_size与steps_per_epoch

该策略应该首先在内存允许的情况下最大化batch_size，特别是当您使用GPU（4~11GB）时。通常，batch_size=32 或 64 应该没问题，但在某些情况下，您必须减少到 8、4 甚至 1。如果没有足够的内存可分配，训练代码将抛出异常，因此您知道何时该分配停止增加batch_size。

一旦设置了batch_size，steps_per_epoch就可以通过Math.ceil(total_samples/batch_size)计算出来。但有时，当使用数据增强时，您可能希望将其设置为大几倍。

(2)第二个问题——val_acc达到局部最优，不会继续改进

这是深度学习问题的关键，不是吗？它让深度学习既令人兴奋又困难。batch_size、steps_per_epoch 和 epoch 数量在这里没有多大帮助。控制模型表现的是模型和超参数（例如学习率、损失函数、优化函数等）。

一些简单的技巧是尝试不同的学习率、不同的优化函数。如果您发现模型过度拟合（val_acc 随着更多时期的出现而下降），如果可能的话，增加样本大小总是有帮助的。数据增强在一定程度上有所帮助。