如何为GradientBoostingClassifier计算要素重要性

Question

我正在使用scikit-learn的渐变增强树分类器GradientBoostingClassifier.它使功能重要性分数可用feature_importances_.如何计算这些要素的重要性？

我想了解scikit-learn正在使用什么算法,以帮助我理解如何解释这些数字.该算法未在文档中列出.

Answer 1

这在scikit-learn文档的其他地方有记录.特别是,它是如何工作的:

对于每棵树,我们计算特征F的特征重要性,作为将遍历基于特征F分割的节点的样本的分数(参见此处).然后,我们平均这些数字在所有的树木(如描述在这里).

没有准确描述scikit-learn如何估计将遍历在特征F上分裂的树节点的节点的分数.

解释:分数将在[0,1]范围内.分数越高意味着该功能越重要.不要指望得分总和为1; 他们没有像那样正常化.