我正在开发一个应用程序,它必须能够在存储在sql server DB中的数十万个联系信息中找到并合并重复项.我必须比较表中的所有列,每列都有一个权重值.比较必须基于重量值.基于比较结果和等价程度,我必须决定自动合并联系人或请求用户注意.我知道有许多用于重复数据删除的模糊逻辑算法.
在http://www.melissadata.com/中阅读有关N-gram或基于Q-gram的算法.这个算法对大量数据是否可行？如果没有,任何人都可以用一些算法指导我或者告诉我从哪里开始？
我想要实现的一个例子,
Gonzales = Gonzalez (two different spelling of different name)
Smith = Smyth (Phonetic sound the same)
123 Main st = 123 Main street (abbrevation)
Bob Smith = Robert Smith (synonym)