在Java JNI中获取真正的UTF-8字符

Question

有一种简单的方法可以在JNI代码中将Java字符串转换为真正的UTF-8字节数组吗？

不幸的是,GetStringUTFChars()几乎完成了所需的但不完全的,它返回一个"修改的"UTF-8字节序列.主要区别在于修改后的UTF-8不包含任何空字符(因此您可以将其视为ANSI C空终止字符串),但另一个区别似乎是如何处理诸如表情符号之类的Unicode补充字符.

诸如U + 1F604"具有开口和微笑眼睛的微笑"之类的字符存储为代理对(两个UTF-16字符U + D83D U + DE04)并且具有4字节UTF-8等效于F0 9F 98 84,这是我在Java中将字符串转换为UTF-8时获得的字节序列:

    char[] c = Character.toChars(0x1F604);
    String s = new String(c);
    System.out.println(s);
    for (int i=0; i<c.length; ++i)
        System.out.println("c["+i+"] = 0x"+Integer.toHexString(c[i]));
    byte[] b = s.getBytes("UTF-8");
    for (int i=0; i<b.length; ++i)
        System.out.println("b["+i+"] = 0x"+Integer.toHexString(b[i] & 0xFF));

上面的代码打印以下内容:

c [0] = 0xd83d c [1] = 0xde04 b [0] = 0xf0 b [1] = 0x9f b [2] = 0x98 b [3] = 0x84

但是,如果我将's'传递给本机JNI方法并调用GetStringUTFChars(),我得到6个字节.每个代理对字符都被独立地转换为3字节序列:

JNIEXPORT void JNICALL Java_EmojiTest_nativeTest(JNIEnv *env, jclass cls, jstring _s)
{
    const char* sBytes = env->GetStringUTFChars(_s, NULL);
    for (int i=0; sBytes[i]!=0; ++i)
        fprintf(stderr, "%d: %02x\n", i, sBytes[i]);
    env->ReleaseStringUTFChars(_s, sBytes);
    return result;
}

0:ed 1:a0 2:bd 3:ed 4:b8 5:84

在维基百科UTF-8的文章表明,GetStringUTFChars()实际上返回CESU-8而不是UTF-8.这反过来导致我的原生Mac代码崩溃,因为它不是有效的UTF-8序列:

CFStringRef str = CFStringCreateWithCString(NULL, path, kCFStringEncodingUTF8);
CFURLRef url = CFURLCreateWithFileSystemPath(NULL, str, kCFURLPOSIXPathStyle, false);

我想我可以改变我的所有JNI方法来获取byte []而不是String并在Java中进行UTF-8转换,但这看起来有点难看,有更好的解决方案吗？

Answer 1

Java文档中清楚地解释了这一点:

JNI功能

GetStringUTFChars

const char * GetStringUTFChars(JNIEnv *env, jstring string, jboolean *isCopy);

返回指向字节数组的指针,该字节数组表示修改后的UTF-8编码中的字符串.此数组在ReleaseStringUTFChars()释放之前有效.

修改了UTF-8

JNI使用修改的UTF-8字符串来表示各种字符串类型.修改后的UTF-8字符串与Java VM使用的字符串相同.对已修改的UTF-8字符串进行编码,以便只包含非空ASCII字符的字符序列可以使用每个字符仅使用一个字节来表示,但可以表示所有Unicode字符.

范围中的所有字符\u0001以\u007F由单个字节表示,如下所示:

字节中的七位数据给出了所表示字符的值.

空字符('\u0000')和字符的范围内'\u0080',以'\u07FF'由一对字节x和y表示:

字节表示具有值的字符((x & 0x1f) << 6) + (y & 0x3f).

在范围内的字符'\u0800'到'\uFFFF'由3个字节的x,y和z表示:

带有值的字符((x & 0xf) << 12) + ((y & 0x3f) << 6) + (z & 0x3f)由字节表示.

代码点高于U + FFFF的字符(所谓的补充字符)通过分别编码其UTF-16表示的两个代理代码单元来表示.每个代理代码单元由三个字节表示.这意味着,补充字符由六个字节u,v,w,x,y和z表示:

具有该值的字符0x10000+((v&0x0f)<<16)+((w&0x3f)<<10)+(y&0x0f)<<6)+(z&0x3f)由六个字节表示.

多字节字符的字节以big-endian(高字节优先)顺序存储在类文件中.

此格式与标准UTF-8格式有两点不同.首先,使用双字节格式而不是单字节格式对空字符(char)0进行编码.这意味着修改后的UTF-8字符串永远不会嵌入空值.其次,仅使用标准UTF-8的单字节,双字节和三字节格式.Java VM无法识别标准UTF-8的四字节格式; 它使用自己的两倍三字节格式代替.

有关标准UTF-8格式的更多信息,请参见3.9 Unicode标准版本4.0的Unicode编码格式.

由于U + 1F604是补充字符,并且Java不支持UTF-8的4字节编码格式U+D83D U+DE04,因此通过使用每个代理3个字节对UTF-16代理对进行编码,U + 1F604以修改的UTF-8表示,因此6个字节总.

那么,回答你的问题......

有一种简单的方法可以在JNI代码中将Java字符串转换为真正的UTF-8字节数组吗？

你可以:

1. 使用GetStringChars()得到原始UTF-16编码的字符,然后创建你自己的UTF-8字节数组.从UTF-16到UTF-8的转换是一种非常简单的手动实现算法.

2. 让您的JNI代码回调到Java以调用String.getBytes(String charsetName)将jstring对象编码为UTF-8字节数组的方法,例如:

   JNIEXPORT void JNICALL Java_EmojiTest_nativeTest(JNIEnv *env, jclass cls, jstring _s)
   {
       const jclass stringClass = env->GetObjectClass(_s);
       const jmethodID getBytes = env->GetMethodID(stringClass, "getBytes", "(Ljava/lang/String;)[B");
   
       const jstring charsetName = env->NewStringUTF("UTF-8");
       const jbyteArray stringJbytes = (jbyteArray) env->CallObjectMethod(_s, getBytes, charsetName);
       env->DeleteLocalRef(charsetName);
   
       const jsize length = env->GetArrayLength(stringJbytes);
       const jbyte* pBytes = env->GetByteArrayElements(stringJbytes, NULL); 
   
       for (int i = 0; i < length; ++i)
           fprintf(stderr, "%d: %02x\n", i, pBytes[i]);
   
       env->ReleaseByteArrayElements(stringJbytes, pBytes, JNI_ABORT); 
       env->DeleteLocalRef(stringJbytes);
   }
   

Wikipedia UTF-8文章表明,GetStringUTFChars()实际上返回的是CESU-8而不是UTF-8

Java的Modified UTF-8与CESU-8不完全相同:

CESU-8类似于Java的Modified UTF-8,但没有NUL字符(U + 0000)的特殊编码.