在Android中区分CJK语言(中文,日文,韩文)

Question

我希望能够识别中文,日文和韩文书写字符,包括一般组和细分语言.原因如下:

• 认识到CJK是一个普通群体:我正在制作蒙古文垂直脚本TextView.为此,我需要将文本行旋转90度,因为字形水平存储在字体中.但是,对于CJK语言,我需要再次将它们旋转回来,以便它们以正确的方向书写,但只是在线上堆叠在一起.
• 将CJK区分为特定语言:我也制作蒙古语词典,当用户输入CJK字符进行查找时,我想自动识别该语言.因为汉字也被日本人和韩国人使用,我猜我不能完全实现这一点,但我想在编码允许的最大程度上做到这一点.

在语言方面,我所知道的子类别是

• 中国传统人物
• 中文简体字
• 日文汉字(汉字)
• 日本平假名(母语字母)
• 日语片假名(用于写外来词的字母)
• 韩语韩语(语音)
• 韩国汉字(汉字)

为了完整起见,汉语也用于越南语(因此CJK也称为CJKV).对于我目前的目的,我不需要担心它,但它可能是未来的考虑因素.我也忽略了像汉语拼音或日本罗马字母这样的罗马字母.它们将在TextView中与英语和蒙古语相同(即与其余部分一起旋转90度).在台湾使用的Bopomofo也可能是未来的考虑因素,但我暂时不理会它.另请参见此处和此处的语言示例.

我已经看到了一些相关的问题,这些问题通常涉及Java或Android中的一种特定语言,但没有一个与规范性答案有关的首要问题.其他问题对于Unicode更为通用,但没有说明如何在Java和Android中执行此操作.以下是一些具体的内容.

• 如何在android中检查给定文本是英文还是中文？
• 如何在Java字符串中检测日文文本？
• 检查字符串是否包含CJK(中文)字符
• 使用正则表达式匹配utf-8编码中的任何中文字符
• 在字符串中测试日文/中文字符
• 日语和汉语中unicode代码点的不同表示
• 检查角色是否是Big-5(Java)中的繁体中文？
• 日语,韩语和中文所需的Unicode字符
• cjk共享的相同中文字符是否共享相同的unicode值？
• Unicode中的汉字完整范围是什么？

所以我的问题是,我可以使用Unicode代码点区分CJK语言多少？如何在Android中测试它们？我在Java和Android上看到了一些较新的测试,虽然这些测试很有用,但我还需要支持较旧的Android设备.

Answer 1

统一

Unicode中的CJK(和CJKV)指汉字表意文字,即汉语,日语,韩语和越南语中使用的汉字(汉字).对于Unicode的脚本命名,但它不是指像日本平假名和片假名或韩文拼音编写的脚本.据说Han Ideagraphs是统一的.这意味着每个表意文字只有一个Unicode代码点,无论它使用哪种语言.

这意味着Unicode(以及相反的Android/Java)无法单独基于单个表意文字来确定语言.即使是简体中文/繁体字也不容易与编码区别开来.这与无法知道字符"a"是否属于英语,法语或西班牙语的想法相同.需要更多背景来确定这一点.

但是,您可以使用Unicode编码来确定日语平假名/片假名和韩语韩语.这些角色的存在将很好地表明附近的汉字表意文字属于同一种语言.

Android的

您可以在某个索引处找到代码点

int codepoint = Character.codePointAt(myString, offset)

如果你想迭代字符串中的代码点:

final int length = myString.length();
for (int offset = 0; offset < length; ) {
    final int codepoint = Character.codePointAt(myString, offset);

    // use codepoint here

    offset += Character.charCount(codepoint);
}

获得代码点后,您可以查找它所在的代码块

Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);

然后,您可以使用代码块来测试表意文字或语言.

CJK

扫描Unicode代码块,我认为它们涵盖了所有的CJK表意文字.如果我错过任何一个,那么随时编辑我的答案或发表评论.

private boolean isCJK(int codepoint) {
    Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
    return (
            Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS.equals(block)||
            Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_A.equals(block) ||
            Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_B.equals(block) ||
            Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_C.equals(block) || // api 19
            Character.UnicodeBlock.CJK_UNIFIED_IDEOGRAPHS_EXTENSION_D.equals(block) || // api 19
            Character.UnicodeBlock.CJK_COMPATIBILITY.equals(block) ||
            Character.UnicodeBlock.CJK_COMPATIBILITY_FORMS.equals(block) ||
            Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS.equals(block) ||
            Character.UnicodeBlock.CJK_COMPATIBILITY_IDEOGRAPHS_SUPPLEMENT.equals(block) ||
            Character.UnicodeBlock.CJK_RADICALS_SUPPLEMENT.equals(block) ||
            Character.UnicodeBlock.CJK_STROKES.equals(block) ||                        // api 19
            Character.UnicodeBlock.CJK_SYMBOLS_AND_PUNCTUATION.equals(block) ||
            Character.UnicodeBlock.ENCLOSED_CJK_LETTERS_AND_MONTHS.equals(block) ||
            Character.UnicodeBlock.ENCLOSED_IDEOGRAPHIC_SUPPLEMENT.equals(block) ||    // api 19
            Character.UnicodeBlock.KANGXI_RADICALS.equals(block) ||
            Character.UnicodeBlock.IDEOGRAPHIC_DESCRIPTION_CHARACTERS.equals(block));
}

带注释的(向右滚动)仅可从API级别19获得.但是,如果您需要支持早期版本,则可能会安全地删除它们,因为它们很少使用.此外,Unicode定义了CJK扩展E,但在撰写本文时,它在Android/Java中不受支持.如果您确实需要包含所有内容,则可以直接将代码点与Unicode块范围进行比较.这个网站是一个方便的浏览地点.您还可以在Unicode站点上看到它们.

如果您不需要支持API 19以下,那么isIdeographic使测试非常简单(虽然我不知道它是否返回与上述方法完全相同的匹配).

private boolean isCJK(int codepoint) {
    return Character.isIdeographic(codepoint);
}

或者这个API 24+:

private boolean isCJK(int codepoint) {
    return (Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.HAN);
}

日本

为了测试平假名或片假名,这应该工作正常:

private boolean isJapaneseKana(int codepoint) {
    Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
    return (
            Character.UnicodeBlock.HIRAGANA.equals(block) ||
            Character.UnicodeBlock.KATAKANA.equals(block) ||
            Character.UnicodeBlock.KATAKANA_PHONETIC_EXTENSIONS.equals(block));
}

或者,如果您支持API 24+:

(这需要更多测试.请参阅下面的评论.)

private boolean isJapaneseKana(int codepoint) {
    return (Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.HIRAGANA || 
            Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.KATAKANA);
}

朝鲜的

要在较低的API上测试Hangul,您可以使用

private boolean isKoreanHangul(int codepoint) {
    Character.UnicodeBlock block = Character.UnicodeBlock.of(codepoint);
    return (Character.UnicodeBlock.HANGUL_JAMO.equals(block) ||
            Character.UnicodeBlock.HANGUL_JAMO_EXTENDED_A.equals(block) || // api 19
            Character.UnicodeBlock.HANGUL_JAMO_EXTENDED_B.equals(block) || // api 19
            Character.UnicodeBlock.HANGUL_COMPATIBILITY_JAMO.equals(block) ||
            Character.UnicodeBlock.HANGUL_SYLLABLES.equals(block));
}

如有必要,删除标记为API 19的行.

或者对于API 24+:

private boolean isKoreanHangul(int codepoint) {
    return (Character.UnicodeScript.of(codepoint) == Character.UnicodeScript.HANGUL);
}

进一步研究

• Unicode东亚脚本
• Unicode CJK常见问题解答
• Unicode韩语常见问题解答
• 一些显示如何Character.UnicodeScript工作的源代码
• CJK统一表意文字