我正在使用网格搜索进行超参数调整，我意识到我正在过度拟合......我尝试了很多方法来减少它，更改参数"gamma", "subsample", "max_depth"以减少它，但我仍然过度拟合......
然后，我将“ reg_alpha”参数值增加到> 30......并且我的模型大大减少了过度拟合。我知道这个参数指的是L1 regularization权重术语，也许这就是解决我的问题的原因。
我只是想知道像reg_alpha这样使用高值是否有任何问题？
我将感谢你的帮助：D
reg_alpha 惩罚增加成本函数的特征。这意味着它会找到不会提高准确性的特征。但这使得预测线更加平滑。
在某些问题上，我还增加 reg_alpha > 30，因为它可以减少过度拟合和测试误差。但如果是回归问题，它的预测将接近测试集的平均值，并且可能无法很好地捕获异常。
所以我可能会说，只要你的测试准确性不开始下降，你就可以增加它。
最后，当增加 reg_alpha 时，保持 max_depth 小可能是一个很好的做法。