在MySQL中查找重复记录

Question

我想在MySQL数据库中提取重复记录.这可以通过以下方式完成:

SELECT address, count(id) as cnt FROM list
GROUP BY address HAVING cnt > 1

结果如下:

100 MAIN ST    2

我想拉它,以便它显示每一行是重复的.就像是:

JIM    JONES    100 MAIN ST
JOHN   SMITH    100 MAIN ST

有关如何做到这一点的任何想法？我试图避免做第一个,然后在代码中使用第二个查询查找重复项.

Answer 1

关键是重写此查询,以便它可以用作子查询.

SELECT firstname, 
   lastname, 
   list.address 
FROM list
   INNER JOIN (SELECT address
               FROM   list
               GROUP  BY address
               HAVING COUNT(id) > 1) dup
           ON list.address = dup.address;

Answer 2

SELECT date FROM logs group by date having count(*) >= 2

Answer 3

为什么不只是INNER加入表自己？

SELECT a.firstname, a.lastname, a.address
FROM list a
INNER JOIN list b ON a.address = b.address
WHERE a.id <> b.id

如果地址可以存在两次以上,则需要DISTINCT.

Answer 4

我尝试了为这个问题选择的最佳答案,但它让我感到困惑.我实际上只需要在我的桌子上的一个字段上.这个链接的以下示例对我来说非常好:

SELECT COUNT(*) c,title FROM `data` GROUP BY title HAVING c > 1;

Answer 5

select `cityname` from `codcities` group by `cityname` having count(*)>=2

这是您要求的类似查询,其200%的工作也很容易.请享用!!!

Answer 6

使用此查询通过电子邮件地址查找重复用户...

SELECT users.name, users.uid, users.mail, from_unixtime(created)
FROM users
INNER JOIN (
  SELECT mail
  FROM users
  GROUP BY mail
  HAVING count(mail) > 1
) dupes ON users.mail = dupes.mail
ORDER BY users.mail;

Answer 7

这不容易:

SELECT *
FROM tc_tariff_groups
GROUP BY group_id
HAVING COUNT(group_id) >1

？

Answer 8

我们可以发现重复项也依赖于多个字段.对于这些情况,您可以使用以下格式.

SELECT COUNT(*), column1, column2 
FROM tablename
GROUP BY column1, column2
HAVING COUNT(*)>1;

Answer 9

另一个解决方案是使用表别名,如下所示:

SELECT p1.id, p2.id, p1.address
FROM list AS p1, list AS p2
WHERE p1.address = p2.address
AND p1.id != p2.id

在这种情况下你真正做的就是获取原始列表,创建两个p表 - p 1和p 2 - 然后在地址列(第3行)上执行连接.第4行确保同一记录在您的结果集中不会多次显示("重复重复").

Answer 10

查找重复地址要比看起来复杂得多,特别是如果您需要准确性.在这种情况下,MySQL查询是不够的......

我在SmartyStreets工作,我们在那里处理验证和重复数据删除以及其他问题,我看到了类似问题的许多不同挑战.

有几个第三方服务会在列表中标记重复项.仅使用MySQL子查询执行此操作不会考虑地址格式和标准的差异.USPS(针对美国地址)具有制定这些标准的某些指导原则,但只有少数供应商获得认证才能执行此类操作.

因此,我建议您最好的答案是将表格导出为CSV文件,然后将其提交给有能力的列表处理器.其中一个是LiveAddress,可以在几秒到几分钟内自动完成.它将使用名为"Duplicate"的新字段和其中的值标记重复行Y.

Answer 11

不会非常有效,但它应该工作:

SELECT *
FROM list AS outer
WHERE (SELECT COUNT(*)
        FROM list AS inner
        WHERE inner.address = outer.address) > 1;

Answer 12

这将在一个表传递中选择重复,没有子查询.

SELECT  *
FROM    (
        SELECT  ao.*, (@r := @r + 1) AS rn
        FROM    (
                SELECT  @_address := 'N'
                ) vars,
                (
                SELECT  *
                FROM
                        list a
                ORDER BY
                        address, id
                ) ao
        WHERE   CASE WHEN @_address <> address THEN @r := 0 ELSE 0 END IS NOT NULL
                AND (@_address := address ) IS NOT NULL
        ) aoo
WHERE   rn > 1

此查询可以模拟ROW_NUMBER()存在于Oracle和中SQL Server

有关详细信息,请参阅我博客中的文章:

• 分析函数:SUM,AVG,ROW_NUMBER - 模拟MySQL.

Answer 13

这也将显示有多少重复项,并将在没有连接的情况下对结果进行排序

SELECT  `Language` , id, COUNT( id ) AS how_many
FROM  `languages` 
GROUP BY  `Language` 
HAVING how_many >=2
ORDER BY how_many DESC

Answer 14

SELECT id, count(*) as c  
 FROM 'list'
GROUP BY id HAVING c > 1

这将返回 id 以及该 id 重复的次数，或者返回任何内容，在这种情况下您将不会有重复的 id。

更改组中的 id（例如：地址），它将返回由第一个找到的 id 与该地址标识的地址重复的次数。

SELECT id, count(*) as c  
 FROM 'list'
GROUP BY address HAVING c > 1

我希望它有帮助。享受 ;）