以下xgboost模型树图中'leaf'的值是什么意思？

Question

考虑到上述(树枝)条件存在,我猜测它是条件概率.但是,我不清楚.

如果您想了解有关所用数据的更多信息或我们如何获得此图表,请访问:http://machinelearningmastery.com/visualize-gradient-boosting-decision-trees-xgboost-python/

Answer 1

对于具有2个类别{0,1}的分类树，叶节点的值表示类别1的原始得分。可以使用logistic函数将其转换为概率得分。下面的计算以最左边的叶子为例。

1/(1+np.exp(-1*0.167528))=0.5417843204057448

这意味着如果一个数据点最终分配到该叶子，则该数据点为1类的概率为0.5417843204057448。

Answer 2

如果它是回归模型（目标可以是 reg:squarederror），则叶子值是该树对给定数据点的预测。根据您的目标变量，叶值可以为负值。该数据点的最终预测将是该点所有树中叶子值的总和。

如果是分类模型（目标可以是二元：逻辑），则叶子值代表（如原始分数）数据点属于正类的概率。最终的概率预测是通过计算所有树中叶子值（原始分数）的总和，然后使用sigmoid函数将其在 0 和 1 之间转换来获得的。叶子值（原始分数）可以为负数，值 0 实际上代表概率为 1/2。

有关参数和输出的更多详细信息，请访问 - https://xgboost.readthedocs.io/en/latest/parameter.html

Answer 3

属性leaf是预测值。换句话说，如果树模型的评估在该终端节点（又名叶节点）结束，那么这就是返回的值。

在伪代码中（树模型最左边的分支）：

if(f1 < 127.5){
  if(f7 < 28.5){
    if(f5 < 45.4){
      return 0.167528f;
    } else {
      return 0.05f;
    }
  }
}