Levenshtein:MySQL + PHP

Question

$word = strtolower($_GET['term']); 

$lev = 0;

$q = mysql_query("SELECT `term` FROM `words`"); 
while($r = mysql_fetch_assoc($q)) 
{ 
    $r['term'] = strtolower($r['term']); 

    $lev = levenshtein($word, $r['term']);

    if($lev >= 0 && $lev < 5)
    {
        $word = $r['term'];
    }
}

如何将所有内容移动到一个查询中？不希望查询所有术语并在PHP中进行过滤.

Answer 1

你需要在MySQL中使用levenshtein函数并进行查询

$word = mysql_real_escape_string($word);
mysql_qery("SELECT `term` FROM `words` WHERE levenshtein('$word', `term`) BETWEEN 0 AND 4");

Answer 2

有两种方法可以在MySQL中实现Levenshtein函数.第一种是创建一个STORED FUNCTION,它的运行方式与STORED TRANSACTION类似,不同之处在于它具有不同的输入和输出.这适用于小型数据集,但对于接近数千行的任何内容都有点慢.

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) )
RETURNS INT
DETERMINISTIC

BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
-- max strlen=255
DECLARE cv0, cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
  RETURN 0;
ELSEIF s1_len = 0 THEN
  RETURN s2_len;
ELSEIF s2_len = 0 THEN
  RETURN s1_len;
ELSE
  WHILE j <= s2_len DO
    SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
  END WHILE;
  WHILE i <= s1_len DO
    SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
    WHILE j <= s2_len DO
    SET c = c + 1;
    IF s1_char = SUBSTRING(s2, j, 1) THEN
      SET cost = 0; ELSE SET cost = 1;
    END IF;
    SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
    IF c > c_temp THEN SET c = c_temp; END IF;
      SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
      IF c > c_temp THEN
        SET c = c_temp;
      END IF;
      SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
    END WHILE;
    SET cv1 = cv0, i = i + 1;
  END WHILE;
END IF;

RETURN c;

END//

将上述代码存储在.sql文件中,并将其导入数据库,如下所示:

source /tmp/mysql_udf.sql

第二种方法是在C/C++中实现用户定义函数,并将其作为共享库(*.so文件)链接到MySQL.此方法还使用STORED FUNCTION来调用库,这意味着对此或第一种方法的实际查询可能是相同的(提供两个函数的输入是相同的).您可以在此处找到有关此方法的更多信息:http://samjlevy.com/mysql-levenshtein-and-damerau-levenshtein-udfs/

使用这些方法之一,您的查询将类似于:

SELECT term FROM words WHERE levenshtein(term, 'term') < 5;

此外,请记住"阈值"值应相对于原始字长更改.最好用百分比值来考虑它,即你的一半词= 50%,"一词"的一半= 2.

Answer 3

如果您有一个庞大的数据库,您可以先使用SOUNDEX过滤单词:

$word = strtolower(mysql_real_escape_string($_GET['term']));

$rs = mysql_query("SELECT LOWER(`term`) FROM `words` WHERE SOUNDEX(term) = SOUNDEX(" . $word . ")");

while ($row = mysql_fetch_assoc($rs)) { 

    $lev = levenshtein($word, $row['term']);

    ....

}

如果你有足够的时间玩C扩展或程序,你可以获得更好的性能,但在应用真正的levenshtein之前过滤mysql上的记录将使事情变得更快,几乎不费力.

Answer 4

如果您正在处理非常大的数据集,我发现在PHP中处理Levenshtein操作和排序比在MySQL中处理更高效.例如查询约1000条记录:

MySQL(~0.0050s) - > PHP Levenshtein(~1.300s)

与

MySQL Levenshtein(> = 5.000s) - > PHP(~0.250s)

还有许多其他选项可用于优化搜索引擎,但如果您想使用Levenshtein,请注意您将要处理的数据以及您想要的延迟.