词干有什么用?

VJu*_*une 5 nlp stanford-nlp

一个简单的问题:我们什么时候可以阻止或限制单词的使用?词干对所有nlp进程都有帮助吗?或者在某些应用程序中使用完整形式的单词可能会导致更好的准确性或准确性?

Bla*_*sad 5

在基于机器学习的NLP中,词干会使您的训练数据更加密集。它可以将字典的大小(语料库中使用的单词数)减少两倍或三倍(对于法语这样的具有很多变体的语言,其字典甚至可以减少数十个单词,例如动词时,单个词干可以生成数十个单词)。

拥有相同的语料库,但输入维度较少,ML会更好地工作。召回率确实应该更好。

不利的一面是,如果在某些情况下实际单词(与其词干相对)有所不同,则您的系统将无法利用它。因此,您可能会失去一些精度。