MySQL字符串比较

Question

几个月前我问了一个类似的问题.位于此处:MySQL Query基于字符串

我遇到的问题是,这只能在一个特定的顺序中工作,在某些情况下它工作得很好.

以下是此查询过滤掉的数据片段(重复是预期的,实际数据):

- BELLMORE
- ATLANTIC BCH
- ATLANTIC BEACH
- E HILLS
- EAST HILLS
- EAST ROCKAWAY
- FAR ROCKAWAY
- FLORAL PARK
- FLORAL PARK
- HIGHLAND HEIGHTS
- N HIGHLAND HGTS
- NORTH HIGHLAND HEIGHTS

在我的上一个问题(基于字符串的MySQL查询)中提供帮助的一个查询在一个实例中运行良好,而在另一个实例中运行失败.这是查询:

select names from tablename group by substring_index(names," ",1)

哪个回报:

- BELLMORE
- ATLANTIC BEACH
- EAST HILLS
- FAR ROCKAWAY
- FLORAL PARK
- HIGHLAND HEIGHTS
- N HIGHLAND HGTS
- NORTH HIGHLAND HEIGHTS

这个问题就是你可以看到它删除了一个它不应该拥有的城市,因为它只使用了第一个单词来对它进行分组.它删除的是:

- EAST ROCKAWAY

这是GROUP'ed BY EAST.

当我继续写这篇文章时,我觉得这几乎是不可能的,因为静态城市名称与可变部分的位置总是在变化.除非你可以比较一定数量的字符.到目前为止还没有完美无瑕.如果有人认为他们可能有一些见解或已经合作并完成了这样的事情,我会很感激反馈和指导.最终结果将是:

- BELLMORE
- ATLANTIC BEACH
- EAST HILLS
- EAST ROCKAWAY
- FAR ROCKAWAY
- FLORAL PARK
- HIGHLAND HEIGHTS

Answer 1

我的建议将是一个昂贵的查询，但希望您可以使用这种类型的操作来执行偶尔的数据“清理”，以便每次查询此数据时都不需要它。

您可能会考虑查看Levenshtein 距离公式...这是一个用于测量两个序列之间差异量的字符串度量。

为了避免需要计算表的笛卡尔积的距离，您可以首先缩小要与更快的健全性检查进行比较的城市和地址集的范围......例如它们以相同的字母开头，并且具有相似的长度。

最初，您可以首先仅返回具有非常小的Levenshtein 距离的记录...然后您可以选择返回的匹配的一个变体以应用于其他记录，以便标准化您的数据。

然后，您可以逐渐增加距离，直到开始出现太多误报。

这是直接在 MySql 中的实现：

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) ) 
  RETURNS INT 
  DETERMINISTIC 
  BEGIN 
    DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT; 
    DECLARE s1_char CHAR; 
    -- max strlen=255 
    DECLARE cv0, cv1 VARBINARY(256); 
    SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0; 
    IF s1 = s2 THEN 
      RETURN 0; 
    ELSEIF s1_len = 0 THEN 
      RETURN s2_len; 
    ELSEIF s2_len = 0 THEN 
      RETURN s1_len; 
    ELSE 
      WHILE j <= s2_len DO 
        SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1; 
      END WHILE; 
      WHILE i <= s1_len DO 
        SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1; 
        WHILE j <= s2_len DO 
          SET c = c + 1; 
          IF s1_char = SUBSTRING(s2, j, 1) THEN  
            SET cost = 0; ELSE SET cost = 1; 
          END IF; 
          SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost; 
          IF c > c_temp THEN SET c = c_temp; END IF; 
            SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1; 
            IF c > c_temp THEN  
              SET c = c_temp;  
            END IF; 
            SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1; 
        END WHILE; 
        SET cv1 = cv0, i = i + 1; 
      END WHILE; 
    END IF; 
    RETURN c; 
  END;