如何识别MySQL中utf-8列中的语言

Mem*_*Mem 2 mysql sql encoding utf-8 character-encoding

我的问题是如何从 MySQL 服务器中的 utf-8 列中查找特定字符集?

请注意,这不是重复的问题,请仔细阅读所问的内容,而不是您的想法。

目前,MySQL 确实可以与 utf-8 完美配合,并显示所有类型的不同语言,并且我在数据库中查看不同语言没有任何问题。我使用 SQLyog 连接 MySQL 服务器,所有 SELECT 结果都很完美,我可以看到西里尔文、日语、中文、土耳其语、法语、意大利语或阿拉伯语或任何类型的语言混合并完美显示。my.ini 和脚本也完美配置并且运行良好。

这里How can I find non-ASCIIcharacter in MySQL? 我看到有些人回答了这个问题,他们的答案也非常适合查找非 ASCII 文本。但我的问题很相似,但没什么不同。我想从MySQL服务器中的utf-8列中找到特定的字符集。

比方说,

select * from TABLE where COLUMN regexp '[^ -~]';
Run Code Online (Sandbox Code Playgroud)

它返回所有非 ASCII 字符,包括西里尔字母、日语、中文、土耳其语、法语、意大利语、阿拉伯语或任何类型的语言。但我想要的是

SELECT * from TABLE WHERE COLUMN like or regexp'Japanese text only?'
Run Code Online (Sandbox Code Playgroud)

换句话说,我只想选择日语编码文本。目前我可以用它看到所有类型的语言;

select * from TABLE where COLUMN regexp '[^ -~]';
Run Code Online (Sandbox Code Playgroud)

但我只想选择日语、俄语、阿拉伯语或法语。怎么做?

数据库包含所有语言混合行和 UTF-8。我不确定MySQL服务器是否可以实现?如果不可能,那么该怎么做?

多谢!

Ric*_*mes 6

好吧,让我们从我放在这里的一张桌子开始。例如,它表示 E381yy 是平假名的 utf8 编码,E383yy 是片假名(日语)。(汉字是另一回事。)

要查看 utf8 列是否包含片假名,请执行以下操作

WHERE HEX(col) REGEXP '^(..)*E383'
Run Code Online (Sandbox Code Playgroud)

西里尔字母可能是

WHERE HEX(col) REGEXP '^(..)*D[0-4]'
Run Code Online (Sandbox Code Playgroud)

中文有点棘手,但这通常适用于中文(和汉字?):

WHERE HEX(col) REGEXP '^(..)*E[4-9A]'
Run Code Online (Sandbox Code Playgroud)

(我将更改您的标题以避免使用关键字“字符集”。)

西欧(包括但不限于法语)C[23]、土耳其语(大约和其他一些)(C4|C59)、希腊语:C[EF]、希伯来语:D[67]、印度语等:E0、阿拉伯语/波斯语/波斯语/乌尔都语:D[89AB]。(始终以^(..)*.

您可能会注意到这些不一定非常具体。这是因为重叠。英式英语和美式英语除了几个单词的拼写外无法区分。一些带重音的字母在欧洲以各种方式共享。印度有许多不同的字符集:梵文、孟加拉文、古尔穆基文、古吉拉特文等;这些可能是可以区分的,但需要更多的研究。我认为阿拉伯语/波斯语/波斯语/乌尔都语共享一个字符集。

多一点:

| SAMARITAN                     | E0A080        | E0A0BE        |
| DEVANAGARI                    | E0A480        | E0A5BF        |
| BENGALI                       | E0A681        | E0A7BB        |
| GURMUKHI                      | E0A881        | E0A9B5        |
| GUJARATI                      | E0AA81        | E0ABB1        |
| ORIYA                         | E0AC81        | E0ADB1        |
| TAMIL                         | E0AE82        | E0AFBA        |
| TELUGU                        | E0B081        | E0B1BF        |
| KANNADA                       | E0B282        | E0B3B2        |
| MALAYALAM                     | E0B482        | E0B5BF        |
| SINHALA                       | E0B682        | E0B7B4        |
| THAI                          | E0B881        | E0B99B        |
| LAO                           | E0BA81        | E0BB9D        |
| TIBETAN                       | E0BC80        | E0BF94        |
Run Code Online (Sandbox Code Playgroud)

所以,对于梵文来说,'^(..)*E0A[45]'