训练深度神经网络时,准确性突然下降

Question

我正在使用mxnet来训练一个11级的图像分类器.我观察到一种奇怪的行为训练准确性正在缓慢增加并且上升到39%,并且在下一个时期它下降到9%然后在其余的训练中保持接近9%.我用保存的模型重新开始训练(训练精度为39%),保持所有其他参数相同.现在训练准确性再次提高.这可能是什么原因？我无法理解它.而且通过这种方式训练模型变得越来越困难,因为它需要我不断地看到训练精度值.

学习率恒定为0.01

Answer 1

你可以看到你的迟到准确度接近随机.在这种情况下有2个常见问题.

• 你的学习率很高.试着降低它
• 您尝试使用的错误(或熵)为您提供NaN值.如果您尝试使用具有日志功能的熵,则必须精确使用它们.

Answer 2

在神经网络训练过程中，精度会先提高一段时间，然后又变差，这种情况很常见——一般来说这是由于过度拟合造成的。网络“运气不好”并被撞到参数空间的坏部分（对应于精度突然下降）也是相当常见的——有时它可以很快恢复，但有时却不能。

一般来说，降低学习率是解决此类问题的好方法。此外，设置像FactorScheduler这样的学习率计划可以通过每隔几个时期降低学习率来帮助您实现更稳定的收敛。事实上，这有时可以掩盖选择过高的初始学习率时出现的错误。