sklearn - 预测每个班级的概率

Question

到目前为止,我已经为另一个帖子和sklearn文档提供了资源

所以一般来说我想生成以下示例:

X = np.matrix([[1,2],[2,3],[3,4],[4,5]])
y = np.array(['A', 'B', 'B', 'C', 'D'])
Xt = np.matrix([[11,22],[22,33],[33,44],[44,55]])
model = model.fit(X, y)
pred = model.predict(Xt)

但是对于输出,我希望每个观察看到3列作为输出pred:

 A  |  B  |  C
.5  | .2  | .3
.25 | .25 | .5
...

每个班级出现在我的预测中的概率不同.

我相信最好的方法是Multilabel classification从我上面提供的第二个链接.另外,我认为跳入下面列出的一个multi-label或多个multi-output模型可能是一个好主意:

Support multilabel:

    sklearn.tree.DecisionTreeClassifier
    sklearn.tree.ExtraTreeClassifier
    sklearn.ensemble.ExtraTreesClassifier
    sklearn.neighbors.KNeighborsClassifier
    sklearn.neural_network.MLPClassifier
    sklearn.neighbors.RadiusNeighborsClassifier
    sklearn.ensemble.RandomForestClassifier
    sklearn.linear_model.RidgeClassifierCV

Support multiclass-multioutput:

    sklearn.tree.DecisionTreeClassifier
    sklearn.tree.ExtraTreeClassifier
    sklearn.ensemble.ExtraTreesClassifier
    sklearn.neighbors.KNeighborsClassifier
    sklearn.neighbors.RadiusNeighborsClassifier
    sklearn.ensemble.RandomForestClassifier

但是,我正在寻找能够以正确的方式做到这一点的人更有信心和经验的人.所有反馈都表示赞赏.

-bmc

Answer 1

根据我的理解,您希望获得多类分类器的每个潜在类的概率.

在Scikit-Learn中,它可以通过泛型函数predict_proba来完成.它是针对scikit-learn中的大多数分类器实现的.你基本上打电话:

clf.predict_proba(X)

clf受过训练的分类器在哪里.作为输出,您将获得每个输入值的每个类的十进制数组.

需要注意的是 - 并非所有分类器都能自然地评估类概率.例如,SVM不这样做.您仍然可以获得类概率,但是在构造这样的分类器时,您需要指示它执行概率估计.对于SVM,它看起来像:

SVC(Probability=True)

适合它之后,您将能够predict_proba像以前一样使用.

我需要警告你,如果分类器不能自然地评估概率,那意味着将使用相当广泛的计算方法来评估概率,这可能会显着增加训练时间.所以我建议你使用自然评估类概率的分类器(具有softmax输出的神经网络,逻辑回归,梯度增强等)