我的验证损失低于训练损失，我应该摆脱正则化吗？

Question

我听很多人谈论一些原因，但他们从未真正回答是否应该修复。我检查了数据集是否存在泄漏，并从 TFRecords 数据集中随机抽取 20% 作为验证集。我开始怀疑我的模型有太多正则化层。我是否应该减少正则化以使验证线位于训练线之上？或者这真的很重要吗？

Answer 1

验证损失低于训练损失并没有什么问题。它仅取决于验证集的概率分布。如果模型中有很多 dropout，则很容易出现这种情况，因为训练损失是在存在 dropout 的情况下计算的。在计算验证损失时，dropout 被禁用。问题是您的训练准确性是否处于可接受的水平。如果不是，则减少模型中的正则化。