决策树学习和杂质

Jon*_*ony 9 machine-learning data-mining decision-tree random-forest

测量杂质有三种方法:

熵

基尼指数

分类错误

每种方法有哪些差异和适当的用例?

Dav*_*ser 5

如果p_i 非常小,那么在非常小的数字(基尼指数)上进行乘法可能会导致舍入误差.因此,最好添加日志(熵).根据您的定义,分类错误提供了粗略估计,因为它使用单个最大的p_i来计算其值.

  • @Benjamin:我在问题中没有看到任何特定于拆分节点的内容. (2认同)