为什么朴素贝叶斯是可生成的?

Ger*_*anC 6 machine-learning machine-learning-model

我正在编写一个文档,其中应该包含使用朴素贝叶斯(生成)和逻辑回归(判别)模型进行文本分类之间的主要区别。

在我的研究中,我遇到了朴素贝叶斯模型的这个定义:https : //nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

文档d在类中的概率c计算为......其中术语出现在类文档中p(tk|c)条件概率......tkc


当我开始比较生成模型和判别模型时,我发现 StackOverflow 上的这个解释被接受了:生成算法和判别算法之间有什么区别?

一个生成模型学习的联合概率分布p(x,y)判别模型学习的条件概率分布p(y|x)-你应该读作“给定x和y的概率”。


在这一点上我感到困惑:朴素贝叶斯是一个生成模型并使用条件概率,但与此同时,判别模型被描述为好像它们学习了条件概率,而不是生成模型的联合概率。


有人可以对此有所了解吗?

谢谢!

Kri*_*itk 6

它是生成性的,因为您不直接对后验进行建模p(y|x),而是学习联合概率的模型p(x,y),也可以表示为p(x|y) * p(y) (先验的似然倍数),然后通过贝叶斯规则,您寻求找到最可能的y

在这种情况下,我可以推荐的一本好读物是:“论判别式与生成式分类器:逻辑回归和朴素贝叶斯的比较” (Ng & Jordan 2004)