训练错误 - 重点是什么？

Question

回归目标(即做出预测)中培训错误的总体意义是什么？

你可能会说,"好吧,你知道,训练错误可以帮助你确定哪种复杂模型最适合使用."

对此,有人会说,"不,你不能.低训练错误只能意味着你的模型符合你正在训练模型的任何数据,AKA过度拟合"

如果训练误差不是一个很好的预测性能指标,那么计算训练误差的重点是什么？

特别是当我们通过训练错误说到地狱时,只需使用验证错误.

我们什么时候会使用培训错误？

低训练误差可以表明过度拟合..是唯一使用它吗？

Answer 1

正如您正确指出的那样,训练错误本身可能是您模型性能的一个非常糟糕的指标.但是,您无需进行训练模型以进行有意义的预测.

这就是您需要培训,验证以及测试阶段和数据集的原因.通过使用随机子采样验证数据集,可以在一定程度上缓解训练数据集中容易发生的过度拟合,因为如果您已经过度拟合,您的模型将不会推广(您应该看到您的训练误差单调下降为模型复杂性增加,但您的验证错误在某些时候出现平台,而额外的模型复杂性实际上增加了验证错误).但是,如果您不对模型进行任何培训,则表示您没有要验证的模型!

该模型需要接受培训.没有绕过那个.但是,训练错误我自己也没用.需要执行交叉验证以确保模型是可推广的.最重要的是,您在训练阶段使用模型所看到的任何内容来评估其性能是无效的.它适用于模型拟合,但不适用于评估.无论OP在下面的讨论中声称什么,正确的方法是交叉验证.

你应该研究偏差 - 方差权衡的概念,因为这与你的问题有直接关系,应该澄清你的疑问.