NLP 中词汇特征和正字法特征的区别？

Question

特征用于模型训练和测试。自然语言处理中的词汇特征和正字法特征有什么区别？例子首选。

Answer 1

我不知道这种区别，大多数时候当人们谈论词汇特征时，他们谈论的是使用这个词本身，而不是仅使用其他特征，即它的词性。

这是一篇论文的例子，当他们说词汇特征时，这意味着“整个单词正字法”

人们可能会冒险说，正字法可能意味着比字符序列本身更抽象的东西，例如序列是否大写/标题/驼峰式/等等。但是我们已经有了有用且清楚理解的形状特征命名。

因此，我建议区分这样的特征：

词汇特征：全词、前缀/后缀（可能有各种长度）、词干词、词形还原词

形状特征：大写、标题、驼峰、小写

语法和句法特征：POS、名词短语的一部分、动词短语的中心、介词短语的补语等......

这不是可能的特征和特征类别的详尽列表，但它可能会帮助您以更清晰和更广泛接受的方式对语言特征进行分类。