提取两段之间的常用词？

taw*_*kov 2 php string

如何在php5中提取两个或多个段落之间的常用词？我想可能总结每个文本以创建高排名单词列表然后进行比较.

我想最基本的方法是:

每个段落划分成单词的阵列,即使用explode或preg_split
- 第一个可能会快一点
- 第二个可能提供更多选择
也许,对单词列表进行一些过滤:
- 清理每个单词
  - 删除特殊字符,如重音字母
  - 将所有内容转换为大写/小写,以帮助您稍后进行比较
- 删除太常见的单词
- 删除太短的单词
- array_filter,在这里,可能会有所帮助
然后,使用类似的东西获取两个数组中的单词列表array_intersect

对于过滤来说,这是一种很好的方法,一种更准确(但更复杂)的方法是根据大型语料库中的频率减少单词的权重.例如,"the"这个词有很高的频率,所以它的排名会大大降低.具有更高等级的单词则更具代表性. (2认同)

归档时间：	15 年，10 月前
查看次数：	2096 次
最近记录：	13 年，1 月前

在MySQL中获取表列名称？ 268

open_basedir限制生效.文件(/)不在允许的路径中: 80

使用PHPUnit模拟私有方法 66

使用字符串路径设置嵌套数组数据 41

删除Python字符串中的第一个单词？ 34

从字符串中删除所有字符,留下数字 21

使用Python,反转一个整数,并判断是否回文 15

Swift中的字符串插值 8

strcasecmp():非标准函数？ 8

只选择字符串C++中的前几个字符 7

什么是serialVersionUID,我为什么要使用它？ 2880

jQuery是否存在"存在"功能？ 2669

如何在JavaScript中清空数组？ 2198

如何在不手动指定编码的情况下在C#中获得字符串的一致字节表示？ 2121

如何使用java.net.URLConnection来触发和处理HTTP请求 1903

在JavaScript中生成特定范围内的随机整数？ 1836

如何分析在Linux上运行的C++代码？ 1732

Python join:为什么是string.join(list)而不是list.join(string)？ 1669

如何比较两个不同分支的文件？ 1430

检查是否使用jQuery选中了复选框 1122