MySQL正则表达式中的Unicode？

Question

我有以下任务:为汉字构建个人字典.用户从列表中选择单个中文字符.然后,软件会查看字符组合列表,并筛选出包含不在单个字符用户列表中的字符的所有字符.因此,如果用户研究1(一)和10(十),那么应该显示11(十一),而不是12(十二).

下一个问题是大约有12k个单字符和100k组合.整个清单可能会变得很长.目前我面临以下问题:MySQL似乎无法与unicode字符进行正确的REGEX匹配.但是,PHP可以.当我进行MySQL查询(见下文)时,我得到了很多误报.我必须再次使用PHP过滤结果.整件事需要很多时间.我现在有一个180个单字符的示例列表,它们在SQL正则表达式中匹配,如下所示.SQL的结果超过30'000种组合.要做到这一点,SQL调用在我运行的机器上大约需要6秒钟.当我之后用PHP检查结果时,结果只有1182种组合.这是很多误报.最重要的是,检查结果需要几秒钟.随着我添加到列表中的每个单个字符,时间增加了大约半秒.迫切需要一种更有效的方法.

为了解决这个问题,我首先要弄清楚为什么MySQL有这么多的误报:

如果我用PHP做正则表达式,我使用a /regex/u表示主题是unicode,这给了我正确的结果.

但是在MySQL中,我不知道如何设置这样的标志.所有REGEXP'正则表达式'结果都以与使用PHP preg_match('/regex/', $subject)而不是使用PHP相同的方式返回/regex/u.

我试图将结果的排序规则更改为各种utf8_*但它不会改变结果.在数据库上添加全文索引也没有做任何事情.

这是我编写的一个测试函数,用于突出显示该问题.如果您有任何其他想法,可以在那里建立检查以深入了解问题,请告诉我.

$db = mysql_connect('localhost', 'kanji', '************');
$link =  mysql_select_db('kanji_data', $db);
mysql_query('SET character_set_results=utf8');
mysql_query('SET names=utf8');
mysql_query('SET character_set_client=utf8');
mysql_query('SET character_set_connection=utf8');
mysql_query('SET character_set_results=utf8');
mysql_query('SET collation_connection=utf8_general_ci');
mysql_set_charset('utf8');

echo '<pre>debug: encoding=' .mysql_client_encoding(). '</pre>';
$string = '?|?|?|?|?';
$sql = "SELECT simplified, length(simplified), searchindex FROM chinese WHERE strlen>0 AND simplified REGEXP '($string)+';";
$sql_encoding = mb_detect_encoding($sql);
echo '<pre>debug: sql string encoding: ' . $sql_encoding . '</pre>';
echo '<pre>debug: sql string: ' . $sql . '</pre>';
// echo $sql;
$rst = mysql_query($sql);
echo mysql_errno($db) . ": " . mysql_error($db). "\n";
while ($row = mysql_fetch_array($rst, MYSQL_NUM)) {
    $len = mb_strlen($row[0]);
    $result_encoding =  mb_detect_encoding($row[0]);
    $pattern = "/^(?|?|?|?|?)+$/u";
    preg_match($pattern, $row[0], $matches);
    if (count($matches) == 0) {
        echo "ERROR: ";
    }
    echo 'string: '. $row[0] . ' ('.$row[1] .' long mysql, '.$len.' long php, encoding: '.$result_encoding.')'.$row[2] ."<br>\n\n\n";
}

该功能的结果可以在这个网站上看到.

如果我做了一些完全错误的事情来达到要求的结果,我也很乐意以不同的方式解决这个问题.

Answer 1

手头的问题是MySQL无法正确地将REGEX与Unicode字符结合使用.REGEX总是以字节为基础工作,Unicode需要组合几个字节.没有解决方案,只有解决方法.

我做的一个解决方法是使用另一个表索引每个字母出现,然后对索引而不是原始日文文本运行检查.