如何使用python和scikit组合两个逻辑回归模型？

Question

我是 Python 和 Scikit 新手。我有两个用 Scikit 创建的逻辑回归模型，我想将它们组合起来以获得一个新模型。在我看来是这样的：

clf1 = LogisticRegression()
clf1.fit(X_set, Y_set)
clf2 = LogisticRegression()
clf2.fit(X_set, Y_set)
combined_clf = clf1 + clf2

但我不知道该怎么做。在此先感谢大家。

Answer 1

这里有两种方法可能适合您的需求。

第一个是让你的每个分类器投票给预测的类。为此，您可以使用sklearn.ensemble.VotingClassifier。以你的例子：

from sklearn.ensemble import VotingClassifier
clf1 = LogisticRegression()
clf2 = LogisticRegression()
eclf1 = VotingClassifier(estimators=[('lr1', clf1), ('lr2', clf2),voting='hard')
eclf1 = eclf1.fit(X, Y)

另一种是堆叠。基本上，这个想法是组合多个分类器的输出，并在第一个分类器的输出上训练元分类器。

这是描述该方法的有用链接：https : //rasbt.github.io/mlxtend/user_guide/classifier/StackingClassifier/。

使用 mlxtend 和您的示例：

from mlxtend.classifier import StackingClassifier
clf1 = LogisticRegression()
clf2 = LogisticRegression()
lr = Your_Meta_Classifier()
sclf = StackingClassifier(classifiers=[clf1, clf2], 
                      meta_classifier=lr)

但是，在您的示例中，使用相同确定性方法训练的模型，我认为堆叠它们不会带来任何改进。

希望有帮助！

（哦，可能重复：使用 scikit-learn（或任何其他 Python 框架）的不同类型回归器的集合？）