sklearn min_impurity_decrease 解释

Question

sklearn中min_impurity_decrease的定义是

如果此分裂导致杂质减少大于或等于该值，则该节点将被分裂。

使用 Iris 数据集，并设置 min_impurity_decrease = 0.0

设置 min_impurity_decrease = 0.1，我们将得到：

看绿色方块，其中基尼指数（杂质）= 0.2041，为什么我们放min_impurity_decrease = 0.1时它没有分裂，尽管基尼指数（杂质）左= 0.0，基尼指数（杂质）右= 0.375

这是否意味着修剪所有子节点，修剪后，它们的父节点基尼指数将小于 0.1 ？因为，如果是这种情况，那么为什么我们不修剪具有大于 0.1 的 gini = 0.487) 的第二级节点？

Answer 1

史蒂夫，这个回复迟到了，但在这里发布以防其他人遇到这个问题并想了解更多关于最小杂质减少的信息。

可以在此处找到最小杂质减少函数公式。公式定义为：

N_t / N * (impurity - N_t_R / N_t * right_impurity
                - N_t_L / N_t * left_impurity)

其中N是样本总数，N_t是当前节点的样本数，N_t_L是左孩子的样本数，N_t_R是右孩子的样本数。

N、N_t、N_t_R 和 N_t_L 都是指加权和，如果通过了 sample_weight。

因此，在您的示例中：

N_t = 26
N = 90
N_t_R = 4
N_t_L = 22
impurity = 0.2041
right impurity = 0.375
left impurity = 0

我计算出的杂质减少量为 0.04，这不符合您指定的阈值 0.1。所以本质上，这个公式考虑了父节点占总树的多少（N_t / N）以及从子节点开始的加权杂质减少。如果最终的杂质减少量小于最小杂质减少量参数，则不会执行拆分。