关于决策树的问题

Question

在研究了决策树一段时间后，我注意到有一个叫做 boosting 的小技术。我看到在正常情况下，它会提高决策树的准确性。

所以我只是想知道，为什么我们不简单地将这种提升纳入我们构建的每个决策树中？由于目前我们将 boosting 作为一种单独的技术离开，所以我在思考：使用 boosting 比仅使用单个决策树有什么缺点吗？

谢谢你帮助我！

Answer 1

Boosting 是一种可以超越任何学习算法的技术。当您构建的原始分类器的性能仅略高于随机时，它是最有效的。如果您的决策树已经相当不错，boosting 可能没有太大区别，但会降低性能——如果您运行 boosting 100 次迭代，您将必须训练和存储 100 棵决策树。

通常人们会使用决策树桩（只有一个节点的决策树）进行提升，并获得与使用完整决策树进行提升一样好的结果。

我做了一些关于 boosting 的实验，发现它相当健壮，比单树分类器更好，但也更慢（我曾经 10 次迭代），而且不如一些更简单的学习器（公平地说，它是一个非常嘈杂的数据集）