这是一个有趣的问题.
我有一个带有名称和地址信息的oracle数据库,需要保持最新状态.
我们从许多不同的gov't源获取数据,并且需要找出匹配项,以及是否使用数据更新db,或者是否需要创建新记录.
没有任何类型的唯一标识符可用于将记录绑定在一起,并且数据质量并不总是那么好 - 总会有拼写错误,人们使用不同的名称(即Joe vs. Joseph)等.
我有兴趣听到那些曾经解决过这类问题的人,以及他们如何解决这个问题,或至少是自动化部分问题.
duplicates data-quality record-linkage
data-quality ×1
duplicates ×1
record-linkage ×1