创建基于solr的重复数据删除系统的最佳实践是什么？

Question

我正在建立一个基于solr搜索的重复数据删除系统,该系统将返回与搜索条件匹配的搜索结果.我使用dataimport处理程序从数据库中提取数据并在Solr服务器上创建索引文档.

我的solr架构如下:

<field name="customer_id" type="int" indexed="true" stored="true" required="true" />
<field name="fname" type="phonetic" indexed="true" stored="true" />
<field name="lname" type="phonetic" indexed="true" stored="true"/>
<field name="address" type="text_en" indexed="true" stored="true" />
<field name="city" type="string" indexed="true" stored="true"  />
<field name="state" type="string" indexed="true" stored="true"  />
<field name="zipcode" type="string" indexed="true" stored="true"  />
<field name="telephone" type="string" indexed="true" stored="true"  />

如上所示,我已使用DoubleMetaphoneFilterFactory将名字(fname)和姓氏(lname)字段的类型指定为拼音搜索的语音.语音字段类型的描述如下:

<fieldtype name="phonetic" stored="false" indexed="true" class="solr.TextField" >
  <analyzer>
    <tokenizer class="solr.StandardTokenizerFactory"/>
    <filter class="solr.LowerCaseFilterFactory" />
    <filter class="solr.NGramFilterFactory" minGramSize="1" maxGramSize="15" side="front"/>
    <filter class="solr.DoubleMetaphoneFilterFactory" inject="true"/>
  </analyzer>
</fieldtype>

我希望我的搜索返回与所有指定查询字段匹配的文档,而不仅仅是任何一个搜索字段.

我的问题是,如果我单独搜索fname,lname或地址,那么结果非常相关,但是当我使用过滤查询和主搜索查询时,结果包含来自两个搜索条件的结果的并集.

请有人指出我做错了什么.此外,是否有任何最佳实践要记住为银行的这种重复数据删除系统设计solr模式,以便识别重复的客户记录.

提前致谢!!

Answer 1

如果您想要的是基于Lucene的客户重复数据删除系统,您可能只想使用Duke.它是一个通用的重复数据删除引擎,它使用Lucene索引记录,然后使用更复杂的比较器(如Levenshtein,Weighted Levenshtein,Jaro-Winkler等)进行详细比较.它有JDBC数据库等的标准连接器,但你也可以自己编写,甚至直接为引擎提供数据.比较基于概率与贝叶斯定理的组合.

根据我写杜克的经历,我会说你很难让Lucene为你做所有的工作.正如你所说,搜索结果相当不错,但精度并不像你专门为此设计的算法那样精确.

所以我给你的建议是获得一个为重复数据删除而构建的工具.我之所以提到Duke是因为它基于Lucene并且与您正在尝试构建的内容非常接近,但您可以使用任何记录链接引擎.Duke使用Lucene来提高性能(所以我们不必比较所有记录对),但是其他引擎有其他方法可以在不使用搜索的情况下实现类似的性能,我猜你Lucene是否在内部并不重要.因此,上面链接的记录链接页面上列出的任何工具都可以为您服务.

请注意,这几十年来一直是一个巨大的研究领域,人们在解决这个问题上取得了很好的进展.所以现成的工具确实很好.还有一堆商业工具,但是既然你已经开始构建自己的工具,我认为那些不相关.

完全披露:我是杜克的作者.我想我们不应该在这里宣传自己,但是,对我而言,使用现成的包装比制造自己的包装好得多.因人而异.