xgboost 的 alpha、lambda 和 gamma 正则化参数有什么区别？

Question

我有一个问题要问：

xgboost 算法中权重的 L1 和 L2 正则化项究竟有何不同。

据我了解，L1由LASSO使用，L2由RIDGE回归使用，L1可以缩小到0，L2不能。我了解使用简单线性回归时的机制，但我不知道它在基于树的模型中如何工作。

此外，gamma 是另一个参数，它使模型更加保守。我应该如何注意L1/L2和gamma参数之间的区别。

我在文档中发现这个问题很少：

lambda [默认=1，别名：reg_lambda]

• 权重的 L2 正则化项。增加该值将使模型更加保守。

alpha [默认=0，别名：reg_alpha]

• 权重的 L1 正则化项。增加该值将使模型更加保守。

gamma [默认=0，别名：min_split_loss]

• 在树的叶节点上进行进一步划分所需的最小损失减少。gamma越大，算法越保守。

它们的范围都是从 0 到 inf。

预先感谢您的任何答复/评论！

Answer 1

我发现了这篇关于伽玛正则化的博客文章。这是我两个月来最喜欢的一次。仍在寻找答案，但信息严重缺乏。