为什么在线性回归中添加特征会降低准确性?

agi*_*all 1 machine-learning linear-regression kaggle

我是ML的新手,正在参加一个讨价还价的比赛,以便学习一下.当我向数据集添加某些功能时,准确性会降低.

为什么增加成本的功能不会加权为零(忽略)?是因为非线性特征会导致局部最小解?

谢谢.

fai*_*dox 6

如果您正在讨论线性回归分类器的训练错误,那么添加功能将始终减少您的错误,除非您有错误.就像你说的那样,这是一个凸出的问题,全局解决方案永远不会更糟,因为你可以将权重设置为零.

如果你正在谈论测试错误,那么过度拟合将是添加功能的一个大问题,而且肯定是你会观察到的.