scikitlearn如何实现线搜索？

Question

在关于梯度增强的文档的这一部分中,它说

Gradient Boosting尝试通过最速下降数值地解决这个最小化问题:最陡下降方向是在当前模型F_ {m-1}处评估的损失函数的负梯度,其可以针对任何可微分损失函数计算:

使用行搜索选择步长\ gamma_m的位置:

我理解行搜索的目的,但我不了解算法本身.我仔细阅读了源代码,但它仍未点击.非常感谢您的解释.

Answer 1

实现取决于您在初始化GradientBoostingClassifier实例时选择的损失函数（例如使用这个，回归部分应该类似）。默认的损失函数是“偏差” ，这里实现了相应的优化算法。在该_update_terminal_region函数中，只需一步即可实现简单的牛顿迭代。

这是你想要的答案吗？