最大熵模型和逻辑回归

Question

我正在做一个需要做一些自然语言处理的项目。我为此目的使用了stanford MaxEnt 分类器。但我不确定，最大熵模型和逻辑回归是同一个还是某种特殊的逻辑回归？

任何人都可以提出一个解释吗？

Answer 1

这是完全相同的模型。NLP 社会更喜欢名称最大熵并使用稀疏公式，该公式允许计算所有内容而无需直接投影到 R^n 空间（因为 NLP 具有大量特征和非常稀疏的向量是很常见的）。

Answer 2

您可能想阅读这篇文章中的附件，其中给出了一个简单的推导： http://www.win-vector.com/blog/2011/09/the-equivalence-of-logistic-regression-and-maximum-entropy-楷模/

引用了 Daniel Jurafsky 和 ​​James H. Martin 的《语音和语言处理》中的解释：

每个特征都是一个指示函数，它挑选出训练观察值的子集。对于每个特征，我们对总分布添加一个约束，指定该子集的分布应与我们在训练数据中看到的经验分布相匹配。然后我们选择符合这些约束的最大熵分布。

伯杰等人。(1996) 表明，这个优化问题的解决方案正是多项逻辑回归模型的概率分布，其权重 W 使训练数据的似然最大化！