在某些时期训练准确率下降

Question

我正在训练一个 ResNet（CIFAR-10 数据集）并且训练准确率主要是（在 95% 的时期内）增加，但有时它会下降 5-10%，然后又开始增加。

下面是一个例子：

Epoch 45/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0323 - acc: 0.9948 - val_loss: 1.6562 - val_acc: 0.7404
Epoch 46/100
40000/40000 [==============================] - 52s 1ms/step - loss: 0.0371 - acc: 0.9932 - val_loss: 1.6526 - val_acc: 0.7448
Epoch 47/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0266 - acc: 0.9955 - val_loss: 1.6925 - val_acc: 0.7426
Epoch 48/100
40000/40000 [==============================] - 50s 1ms/step - loss: 0.0353 - acc: 0.9940 - val_loss: 2.2682 - val_acc: 0.6496
Epoch 49/100
40000/40000 [==============================] - 50s 1ms/step - loss: 1.6391 - acc: 0.4862 - val_loss: 1.2524 - val_acc: 0.5659
Epoch 50/100
40000/40000 [==============================] - 52s 1ms/step - loss: 0.9220 - acc: 0.6830 - val_loss: 0.9726 - val_acc: 0.6738
Epoch 51/100
40000/40000 [==============================] - 51s 1ms/step - loss: 0.5453 - acc: 0.8165 - val_loss: 1.0232 - val_acc: 0.6963

在此之后我已经退出执行，但这是我的第二次运行，首先，发生了同样的事情，一段时间后它恢复到 99%。

Batch 是 128，所以我想这不是问题。我没有改变学习率或任何其他 Adam 参数，但我想这也不是问题，因为大多数时候准确率都在提高。

那么，为什么会发生这些突然的下降呢？

Answer 1

由于训练和验证损失和准确性都增加了，看起来您的优化算法暂时超过了它试图遵循的损失函数的下坡部分。

记住梯度下降和相关方法计算一个点的梯度，然后使用它（有时还有一些额外的数据）来猜测移动的方向和距离。这并不总是完美的，有时它会走得太远并最终再次上坡。

如果您的学习率很高，您会时不时地看到这种情况，但与较小的学习率相比，您仍然可以更快地收敛。你可以尝试不同的学习率，但除非你的损失开始出现分歧，否则我不会担心。