自然语言处理(NLP),尤其是英语,已经发展成为如果存在"完美"的引理词,词干将成为一种古老技术的阶段.这是因为词干分析器将单词/标记的表面形式改变为一些无意义的词干.
然后,"完美"变形器的定义是值得怀疑的,因为不同的NLP任务需要不同级别的词形还原.例如,在动词/名词/形容词形式之间转换单词.
词干
[in]: having
[out]: hav
Lemmatizers
[in]: having
[out]: have
所以问题是,英语词干器今天有用吗？因为我们有大量的英语词汇化工具
如果不是,那么我们应该如何着手构建强大的lemmatizers可以取nounify,verbify,adjectify和adverbify
预处理？
如何将词形还原任务轻松扩展到与英语具有相似形态结构的其他语言？
是否可以使用 nltk 将 running、helps、cooks、finds 和 happy 等词更改为 run、help、cook、find 和 happy？