如何使用tf-idf选择停用词？(非英语语料库)

Question

我设法评估给定语料库的tf-idf函数.如何找到每个文档的停用词和最佳单词？我理解给定单词和文档的低tf-idf意味着它不是选择该文档的好词.

Answer 1

停止词是那些在文档中非常普遍的词,因此失去了它们的代表性.观察这一点的最佳方法是测量一个术语出现的文档数量,并过滤那些出现在超过50%的文档中的文档数量,或者前500个或您需要调整的某种类型的阈值.

文档中最好(如更具代表性)的术语是那些具有更高tf-idf的术语,因为这些术语在文档中很常见,而在集合中很少见.

作为一个快速说明,正如@Kevin指出的那样,集合中非常常见的术语(即停止词)无论如何都会产生非常低的tf-idf.但是,它们会改变一些计算,如果你认为它们是纯噪声(根据任务可能不正确),这将是错误的.此外,如果包含它们,您的算法会稍慢.

编辑:正如@FelipeHammel所说,你可以直接使用IDF(记得颠倒顺序)作为与df(反向)成比例的度量.这对于排名目的而言完全相同,因此选择顶部的"k"项.但是,不可能使用它来根据比率进行选择(例如,出现在超过50%的文档中的单词),尽管简单的阈值处理可以解决这个问题(即选择idf低于特定值的术语) .通常,使用固定数量的术语.

我希望这有帮助.

Answer 2

摘自《信息检索导论》一书：

tf-idf为术语分配t文档中的权重d，即

1. t当在少数文档中多次出现时最高（从而为这些文档提供高辨别力）；
2. 当term文档中出现的次数较少或出现在许多文档中时较低（从而提供不太明显的相关性信号）；
3. 当term几乎所有文档中都出现这种情况时，该值最低。

因此最低的单词tf-idf可以被视为停用词。