我怎样才能在Keras中故意过度卷积神经网络以确保模型正常工作？

Question

我正在尝试在训练我的模型时诊断导致低精度的原因.在这一点上,我只是希望能够达到高训练精度(我可以担心以后测试准确性/过度拟合问题).如何根据训练准确度调整模型以过度指数？我想这样做是为了确保我在预处理步骤中没有犯任何错误(改组,拆分,规范化等).

#PARAMS
dropout_prob = 0.2
activation_function = 'relu'
loss_function = 'categorical_crossentropy'
verbose_level = 1
convolutional_batches = 32
convolutional_epochs = 5
inp_shape = X_train.shape[1:]
num_classes = 3


def train_convolutional_neural():
    y_train_cat = np_utils.to_categorical(y_train, 3) 
    y_test_cat = np_utils.to_categorical(y_test, 3)

    model = Sequential()
    model.add(Conv2D(filters=16, kernel_size=(3, 3), input_shape=inp_shape))
    model.add(Conv2D(filters=32, kernel_size=(3, 3)))
    model.add(MaxPooling2D(pool_size = (2,2)))
    model.add(Dropout(rate=dropout_prob))
    model.add(Flatten())
    model.add(Dense(64,activation=activation_function))
    model.add(Dense(num_classes,activation='softmax'))
    model.summary()
    model.compile(loss=loss_function, optimizer="adam", metrics=['accuracy'])
    history = model.fit(X_train, y_train_cat, batch_size=convolutional_batches, epochs = convolutional_epochs, verbose = verbose_level, validation_data=(X_test, y_test_cat))
    model.save('./models/convolutional_model.h5')

Answer 1

您需要删除Dropout图层.这是一个故意过度拟合的小清单:

• 删除任何正则化(Dropout,L1和L2正则化)
• 确保设置较慢的学习率(亚当是自适应的,所以在你的情况下它很好)
• 您可能不希望改变训练样本(例如,前100个样本都是A类,接下来的100个是B类,最后100个是C类).更新:正如petezurich在下面的答案中指出的那样,应该谨慎考虑,因为它可能导致根本没有训练效果.

现在,如果您轻松地对过度拟合进行建模,那么它就是一个能够表示数据的强大模型的好兆头.否则,您可能会考虑更深/更宽的模型,或者您应该好好看看数据并提出问题:"真的有任何模板吗？这可以训练吗？".