使用 Keras 进行迁移学习，验证准确性从一开始就没有提高（超出初始基线），而训练准确性却提高了

Question

我正在为 Food-101 数据集（包含 101 个类别和每个类别 1k 个图像的图像数据集）构建一个分类器。我的方法是使用 Keras 并通过 ResNet50（来自 imagenet 的权重）进行迁移学习。

训练模型时，训练精度在几个 epoch 中得到了适度的提高（30%-->45%），但验证精度基本上保持在 0.9-1.0%。我尝试过简化、交换优化器、减少和增加隐藏层中的单元、删除所有图像增强以及在flow_from_directory().

当我查看模型在验证集上做出的预测时，它始终是同一类。

我的感觉是，该模型并没有严重过度拟合，无法解释验证准确性的变化。

任何提高验证准确性的建议将不胜感激。

作为参考，以下是相关代码片段：

datagen = ImageDataGenerator(rescale=1./255, validation_split=0.2)

train_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='training', target_size=(256,256))
# prints "60603 images belonging to 101 classes"
val_datagen = datagen.flow_from_directory('data/train/', seed=42, class_mode='categorical', subset='validation', target_size=(256,256)) 
# prints "15150 images belonging to 101 classes"

train_steps = len(train_datagen) #1894
val_steps = len(val_datagen) #474
classes = len(list(train_datagen.class_indices.keys())) #101

conv_base = ResNet50(weights='imagenet', include_top=False, pooling='avg', input_shape=(256, 256, 3))

from keras.layers import GlobalAveragePooling2D
from keras.layers import Dropout
from keras.layers import Flatten
from keras.layers import BatchNormalization

model = Sequential()

model.add(conv_base)
model.add(BatchNormalization())
model.add(Dropout(0.2))
model.add(Dense(512, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(classes, activation='softmax'))

conv_base.trainable = False

from keras.optimizers import Adam

model.compile(loss='categorical_crossentropy',
              optimizer=Adam(),
              metrics=['acc','top_k_categorical_accuracy'])

history = model.fit_generator(
    train_datagen,
    steps_per_epoch=train_steps,
    epochs=5,
    verbose=2,
    validation_data=val_datagen,
    validation_steps=val_steps
)

这是结果.fit_generator()：

• 纪元 1/5
  • 724s - 损失：3.1305 - acc：0.3059 - top_k_categorical_accuracy：0.5629 - val_loss：6.5914 val_acc：0.0099 - val_top_k_categorical_accuracy：0.0494
• 纪元 2/5
  • 715s - 损失：2.4812 - acc：0.4021 - top_k_categorical_accuracy：0.6785 - val_loss：7.4093 - val_acc：0.0099 - val_top_k_categorical_accuracy：0.0495
• 纪元 3/5
  • 714s - 损失：2.3559 - acc：0.4248 - top_k_categorical_accuracy：0.7026 - val_loss：8.9146 - val_acc：0.0094 - val_top_k_categorical_accuracy：0.0495
• 纪元 4/5
  • 714s - 损失：2.2661 - acc：0.4459 - top_k_categorical_accuracy：0.7200 - val_loss：8.0597 - val_acc：0.0100 - val_top_k_categorical_accuracy：0.0494
• 纪元 5/5
  • 715s - 损失：2.1870 - acc：0.4583 - top_k_categorical_accuracy：0.7348 - val_loss：7.5171 - val_acc：0.0100 - val_top_k_categorical_accuracy：0.0483

这里是model.summary()：

Layer (type)                 Output Shape              Param #   
=================================================================
resnet50 (Model)             (None, 2048)              23587712  
_________________________________________________________________
batch_normalization_1 (Batch (None, 2048)              8192      
_________________________________________________________________
dropout_1 (Dropout)          (None, 2048)              0         
_________________________________________________________________
dense_1 (Dense)              (None, 512)               1049088   
_________________________________________________________________
dropout_2 (Dropout)          (None, 512)               0         
_________________________________________________________________
dense_2 (Dense)              (None, 101)               51813     
=================================================================
Total params: 24,696,805
Trainable params: 1,104,997
Non-trainable params: 23,591,808
_________________________________________________________________

Answer 1

验证准确性低的原因与模型的构建方式有关。可以合理地预期迁移学习在这种情况下会发挥良好作用。然而，您的 top-1 和 top-5 分别接近 1/101 和 5/101。这表明您的模型是偶然进行分类的，并且尚未学习数据集的基础信号（特征）。因此，迁移学习在这种情况下不起作用。但这确实意味着它永远不会起作用。

我重复了你的实验，得到了相同的结果，即反映随机选择分类的 top-1 和 top-5 准确率。不过，我随后解冻了 ResNet50 模型的各层并重复了实验。这只是进行迁移学习的方式略有不同。经过 10 个 epoch 的训练后，我得到了以下结果：

Epoch 10/50 591/591 [==============================] - 1492s 3s/step - 损失：1.0594 - 准确度：0.7459 - val_loss：1.1397 - val_accuracy：0.7143

这并不完美。然而，该模型尚未收敛，可以应用一些预处理步骤来进一步改善结果。

您进行观察的原因在于，冻结的 ResNet50 模型是根据与 Food101 数据集根本不同的图像分布进行训练的。数据分布的不匹配会导致性能不佳，因为冻结网络执行的转换未针对 Food101 图像进行调整。解冻网络可以让神经元真正学习 Food101 图像，从而获得更好的结果。

希望这对您有帮助。