使用Boosting树在sklearn中生成特征

Question

我指的是使用树集合进行特征转换的链接.

具体地,对于代码下面部分,该链接的样品中,(1)使用推进树来产生特征的方法,然后使用LR,性能优于(2)使用推进树本身来训练.问题,

1. 想知道在一般情况下使用Boosting树生成特征(并使用另一个分类器进行分类)是否真的比使用Boosting树进行分类更好？

2. 并且还想知道为什么使用Boosting树生成特征,然后使用LR训练,优于使用Boosting树本身？

   grd = GradientBoostingClassifier(n_estimators=n_estimator)
   grd_enc = OneHotEncoder()
   grd_lm = LogisticRegression()
   grd.fit(X_train, y_train)
   grd_enc.fit(grd.apply(X_train)[:, :, 0])
   grd_lm.fit(grd_enc.transform(grd.apply(X_train_lr)[:, :, 0]), y_train_lr)
   

Answer 1

有趣的来源是paper_1和paper_2以及其中的其他参考文献。

所以回答你的问题：

1. 很笼统的说法，看看上面论文中的一些实验结果似乎有一些例外。然而，大多数时候它确实提高了分数。
2. 这样做的主要思想是将特征映射到样本可线性分离的空间中。如果确实如此，那么线性分类器就会大放异彩。