如何使用 python 和 scikit 组合两个逻辑回归模型？

Question

我是 Python 和 Scikit 新手。我有两个用 Scikit 创建的逻辑回归模型，我想将它们组合起来以获得一个新模型。在我看来是这样的：

clf1 = LogisticRegression()
clf1.fit(X_set, Y_set)
clf2 = LogisticRegression()
clf2.fit(X_set, Y_set)
combined_clf = clf1 + clf2

但我不知道该怎么做。在此先感谢大家。

Answer 1

这里有两种方法可能适合您的需要。

第一个是让每个 classifiers 投票给预测的 class。为此，您可以使用 sklearn.ensemble.VotingClassifier。以你的例子：

from sklearn.ensemble import VotingClassifier
clf1 = LogisticRegression()
clf2 = LogisticRegression()
eclf1 = VotingClassifier(estimators=[('lr1', clf1), ('lr2', clf2),voting='hard')
eclf1 = eclf1.fit(X, Y)

另一种是堆叠。基本上，这个想法是结合多个 classifier 的输出，并在第一个 classifier 的输出上训练一个 metaclassifier。

这里有一个有用的 link 描述方法：https://rasbt.github.io/mlxtend/user_guide/classifier/StackingClassifier/.

使用 mlxtend 和您的示例：

from mlxtend.classifier import StackingClassifier
clf1 = LogisticRegression()
clf2 = LogisticRegression()
lr = Your_Meta_Classifier()
sclf = StackingClassifier(classifiers=[clf1, clf2], 
                      meta_classifier=lr)

但是，在您的示例中，模型是使用相同的确定性方法训练的，我认为堆叠它们不会带来任何改进。

希望对您有所帮助！

（哦，可能重复：？）

如何使用 python 和 scikit 组合两个逻辑回归模型？

How to combine two logistic regression models using python and scikit?

python

machine-learning

scikit-learn

logistic-regression