Mr_*_*ken 6 classification machine-learning entropy
有人可以给我一个清晰，简单的最大熵分类的定义吗？如果有人可以提供一个清晰的类比，这将非常有帮助，因为我正努力理解。
“最大熵”与“最小信息量”同义。您将不需要分类信息最少的分类器。它是关于先验如何建立的。坦率地说，“最大熵分类”是使用流行语的示例。
对于一个无先验的事例，考虑给定一个六边形物体。如果抛掷物体，任何给定的面孔都会出现的概率为1/6。这将是您的先决条件。这是信息最少的。您真的不想从其他任何内容开始，否则您将对以后的计算产生偏见。当然，如果您知道一侧会更频繁地出现，则应将其合并到您的先验中。
贝叶斯公式为P（H | E）= P（E | H）P（H）/ P（D），其中P（H）是该假设的先验条件，P（D）是所有可能分子的总和。
对于要插入缺失词的文本分类，E是给定的文档，H是给定的单词。IOW，假设是H是应该选择的单词，P（H）是赋予单词的权重。
最大熵文本分类的意思是：从信息最少的权重（先验）开始，进行优化以找到使数据的可能性最大的权重P（D）。本质上，这是EM算法。
一个简单的朴素贝叶斯分类器将假定先前的权重与单词在文档中出现的次数成正比。但是，这忽略了单词之间的相关性。
所谓的MaxEnt分类器将相关性考虑在内。
我想不出一个简单的例子来说明这一点，但我能想到一些相关性。例如，英语中的“ 失踪 ”应赋予名词更高的权重，但如果朴素贝叶斯分类器的相对频率与给定名词相同，则其对动词的权重相等。考虑缺失的MaxEnt分类器将赋予名词更多的权重，因为它们在上下文中更可能出现。