神经网络训练期间的 MSE

Question

MSE 是否有可能在训练期间增加？

我目前正在计算每个时期验证集的 MSE，在某个特定点，MSE 开始增加而不是减少。有人对这种行为有解释吗？

Answer 1

回答您的问题：是的，这是可能的。

如果您使用正则化或随机训练，则在训练时 MSE 出现一些起伏是正常的。

问题的一些可能原因

1. 您使用的学习率太高，这会导致超出成本函数的局部最小值的问题。

2. 神经网络过度拟合。训练太多并失去概括的能力。

你可以尝试什么：

1. 当这种情况开始发生时，降低你的学习率。

2. 在您的网络上应用某种正则化，例如 dropout，以避免过度拟合。