Ata*_*man 9 text-processing stemming data-mining stop-words tf-idf
术语频率(TF)和反向文档频率(IDF)如何受到停用词删除和词干的影响？
谢谢!
小智 17
tf是术语频率 idf是逆文档频率,它是通过将文档总数除以包含该术语的文档数得到的,然后取该商的对数.
词干效应是对从同一词干派生的所有单词进行分组(例如:播放,播放,...),这种分组会增加此词干的出现,因为频率是使用词干计算的,例如,如果你有2个文件:第一个包含'播放'2次'和'播放'5次,第二个文件包含'播放'3次和'播放'1次如果你搜索'播放'而没有阻止第二个文件将是第一个因为它更多地出现了'play'这个词,而如果你做了词干,那么两个词在词干之后就会'播放',第一个文件将首先因为它包含词干播放7次而第二个文件包含词干播放4次.
关于停用词删除,它经常在所有文档中找到,并且不被视为其中任何一个的关键字,它将具有高频率而没有任何场景.
| 归档时间： |
|
| 查看次数： |
6889 次 |
| 最近记录： |