如何指定scikit-learn的朴素贝叶斯的先验概率

Question

我正在使用scikit-learn机器学习库(Python)进行机器学习项目.我正在使用的算法之一是高斯朴素贝叶斯实现.GaussianNB()函数的一个属性如下:

class_prior_ : array, shape (n_classes,)

我想先手动更改类,因为我使用的数据非常偏斜,其中一个类的调用非常重要.通过为该类分配较高的先验概率,召回应该增加.

但是,我无法弄清楚如何正确设置属性.我已经阅读了以下主题,但他们的答案对我不起作用.

如何在scikit-learn中为Naive Bayes clf手动设置先验概率？

我怎么知道我给sci-kit学习的先前资料？(朴素贝叶斯分类器.)

这是我的代码:

gnb = GaussianNB()
gnb.class_prior_ = [0.1, 0.9]
gnb.fit(data.XTrain, yTrain)
yPredicted = gnb.predict(data.XTest)

我认为这是正确的语法,我可以通过播放值找出哪个类属于数组中的哪个位置,但结果保持不变.也没有给出任何错误.

从scikit-learn库设置GaussianNB算法属性的正确方法是什么？

链接到GaussianNB的scikit文档

Answer 1

@Jianxun Li:实际上有一种在GaussianNB中设置先验概率的方法.它被称为'priors',可作为参数使用.请参阅文档:"参数:priors:array-like,shape(n_classes),类的先验概率.如果指定,则不会根据数据调整先验." 那么,让我举个例子:

from sklearn.naive_bayes import GaussianNB
# minimal dataset
X = [[1, 0], [1, 0], [0, 1]]
y = [0, 0, 1]
# use empirical prior, learned from y
mn = GaussianNB()
print mn.fit(X,y).predict([1,1])
print mn.class_prior_

>>>[0]
>>>[ 0.66666667  0.33333333]

但是如果你改变了先前的概率,它会给出一个不同的答案,这就是你所寻找的我相信的答案.

# use custom prior to make 1 more likely
mn = GaussianNB(priors=[0.1, 0.9])
mn.fit(X,y).predict([1,1])
>>>>array([1])

Answer 2

在scikit-learn中实现的GaussianNB()不允许您先设置类.如果您阅读在线文档,您会看到.class_prior_是一个属性而不是参数.一旦适合GaussianNB(),就可以访问class_prior_属性.它的计算方法是简单计算训练样本中不同标签的数量.

from sklearn.datasets import make_classification
from sklearn.naive_bayes import GaussianNB


# simulate data with unbalanced weights
X, y = make_classification(n_samples=1000, weights=[0.1, 0.9])
# your GNB estimator
gnb = GaussianNB()
gnb.fit(X, y)

gnb.class_prior_
Out[168]: array([ 0.105,  0.895])

gnb.get_params()
Out[169]: {}

您看到估算器足够聪明,可以考虑不平衡的重量问题.因此您不必手动指定先验.