比较想法相似性的算法(作为字符串)

Question

考虑一个记录问题答案的任意文本框,在你死之前你想做什么？

使用一组响应字符串(最大长度为240),我想以某种方式对它们进行排序和分组,并按想法计算它们(这可能只是字符串相似性,如本问题所述).

1. 有没有其他或更好的方法来做这样的事情？
2. 这与字符串相似性有何不同？
3. 这是正确的问题吗？

这里的想法是让人们一遍又一遍地在文本框中书写,我提供一个数字,一般来说,描述了802人写的大致相同的东西

Answer 1

它比字符串相似性困难得多.这是您至少需要做的事情:

• 执行一些文本格式化/清理任务,如删除标点字符和常见的"停用词"
• 根据出现答案的术语构建语料库(带有使用统计信息的单词集合).
• 计算每个学期的重量.
• 从每个答案构造一个文档向量(每个术语对应一个非常高维的欧几里德空间中的维度)
• 在文档向量上运行聚类算法.

阅读一本好的统计自然语言处理书,或搜索谷歌的好介绍/教程(可能的术语:统计nlp,文本分类,聚类)您可能会发现一些库(weka或nltk浮现在脑海中),具体取决于您选择的语言但是无论如何你需要理解使用库的概念.