从char*创建UTF-16字符串

Question

所以我有标准的C字符串:

char* name = "Jakub";

我想将其转换为UTF-16.我想出,UTF-16将是两倍长 - 一个角色需要两个字符.
所以我创建另一个字符串:

char name_utf_16[10];  //"Jakub" is 5 characters

现在,我相信与ASCII字符我只会用低字节,所以对于所有的人就会像74 00对J等.有了这个信念,我可以制作这样的代码:

void charToUtf16(char* input, char* output, int length) {
    /*Todo: how to check if output is long enough?*/
    for(int i=0; i<length; i+=2)  //Step over 2 bytes
    {
        //Lets use little-endian - smallest bytes first
        output[i] = input[i];
        output[i+1] = 0;  //We will never have any data for this field
    }
}

但是,通过这个过程,我结束了"Jkb".我知道无法正确测试 - 我刚刚将字符串发送到Minecraft Bukkit Server.这就是断开连接时的说法:

13:34:19 [INFO]断开连接jkb ?? [/127.0.0.1:53215]:过时的服务器!

注意:我知道Minecraft使用的是big-endian.上面的代码只是一个例子,事实上,我在课堂上实现了我的转换.

Answer 1

在我回答你的问题之前，请考虑一下：

这个编程领域充满了人的陷阱。了解 ASCII、UTF7/8 和 ANSI/“多字节字符串 (MBCS)”之间的差异非常有意义，对于讲英语的程序员来说，所有这些看起来和感觉都是相同的，但如果它们是不同的，则需要非常不同的处理。介绍给欧洲或亚洲用户。

ASCII：字符范围为 32-127。只有一个字节。线索就在名字中，它们对美国人来说很棒，但不适合世界其他地方。

ANSI/MBCS：这就是“代码页”的原因。字符 32-127 与 ASCII 相同，但也可以有 128-255 范围内的字符以及附加字符，并且 128-255 范围中的一些字符可以用作标志来标记该字符继续到第二个、第三个甚至第四个字节。要正确处理字符串，您需要字符串字节和正确的代码页。如果您尝试使用错误的代码页处理字符串，您将不会获得正确的字符，并且会误解字符是一字节、二字节还是四字节字符。

UTF7/8：这些是 21 位 Unicode 字符点的 8 位宽格式。UTF-7 和 UTF-8 中的 unicode 字符长度可以在一到四个字节之间。UTF 编码相对于 ANSI/MBCS 的优点是不存在由代码页引起的歧义。每个脚本中的每个字形都有一个唯一的 unicode 代码点，这意味着不可能通过在具有不同区域设置的不同计算机上解释数据来破坏字符集。

那么开始回答你的问题：

1. 当您假设 char* 只会指向 ASCII 字符串时，这是一个非常危险的选择，用户控制着输入的数据，而不是程序员。默认情况下，Windows 程序会将其存储为 MBCS。

2. 您做出的第二个假设是 UTF-16 编码的大小是 8 位编码的两倍。这通常不是一个安全的假设。根据源编码，UTF-16 编码的大小可能是两倍，也可能小于两倍，在极端示例中，长度实际上可能更短。

那么，安全的解决方案是什么？

安全的选择是在内部将应用程序实现为 unicode。在 Windows 上，这是一个编译器选项，意味着您的 Windows 控件都使用 wchar_t* 字符串作为其数据类型。在 Linux 上，我不太确定你是否总是可以使用 unicide 图形和操作系统库。您还必须使用 wcslen() 函数来获取字符串的长度等。当您与外界交互时，请精确使用所使用的字符编码。

要回答您的问题，请将问题改为：当我收到非 UTF-16 数据时我该怎么办？

首先，要非常清楚您对其格式做出了哪些假设？其次，接受有时转换为 UTF-16 可能会失败的事实。

如果您清楚源格式，则可以选择适当的 win32 或 stl 转换器来转换格式，然后在使用结果之前应查找转换失败的证据。例如 Windows 上的 mbstowcs 或 MultiByteToWideChar()。然而，安全地使用这两种方法意味着您需要理解上述所有答案。

所有其他选择都会带来风险。使用 mbcs 字符串，您将通过使用一个代码页输入数据字符串并使用不同的代码页处理数据字符串。假设 ASCII 数据，当您遇到非 ASCII 字符时，您的代码将被破坏，并且您将因您的缺点而“责怪”用户。

Answer 2

为什么要在现有的C/C++函数中创建自己的Unicode转换功能,mbstowcs()包括在内<cstdlib>.

如果您仍想制作自己的东西,请查看Unicode Consortium的开源代码,可在此处找到:

在Windows和Linux下,在C中将UTF-16转换为UTF-8