unicode/utf-8/utf-16和我的本地编码GBK之间有什么关系?

lul*_*yon 4 encode

我注意到我在Windows上的文本文件(中文版),当移植到Ubuntu时,变成了乱码.经过更多研究,我知道Windows CN版本的默认编码是GBK,而Ubuntu上的默认编码是utf-8,iconv可以进行编码转换,例如从GBK到utf-8:

iconv -f gbk -t utf-8 input.txt > output.txt
Run Code Online (Sandbox Code Playgroud)

但我仍然对这些编码的关系感到困惑.这些是什么?它们之间有什么相似之处和区别?

Cir*_*四事件 5

首先,它不是关于操作系统,而是关于您用来读取文件的程序.

在一个裸.txt上,程序必须能够猜测编码,这并不总是可行,但可能有效.在html上,编码是作为元数据给出的,因此浏览器不需要这样做.

第二,你知道ASCII吗?你看到它是如何通过数字代表符号的吗?如果不是,这是你现在应该学习的第一件事.

接下来,您是否看到了Unicode和UTF-XXX之间的区别?你必须清楚Unicode只是一个数字(代码点)到字形(符号,包括中文字符,ASCII字符,埃及字符等)的映射.

另一方面,UTF-XXX表示,给定一串字节,它们代表哪些Unicode数字(代码点).因此,UTF-8和UTF-16是表示Unicode的不同有效方式.

正如您可能想象的那样,与ASCII不同,UTF和GBK都必须允许每个字符超过一个字节,因为它们的数量远远超过256个.

在GBK中,所有字符都编码为1或2个字节.由于GBK专门用于中文,因此它平均使用比UTF-XXX更少的字节来表示给定的中文文本,而对于其他语言则更多.

在UTF-8和16中,每个字形的字节数是可变的,因此您必须查看中文代码点使用的字节数.

在Unicode中,中文字形位于以下范围内.然后你必须看看UTF-8和UTF-16如何有效地代表那些范围.

根据维基百科关于UTF-8和UTF-16的文章,中文字形4E00-9FFF的第一个也是最常见的范围在UTF-8中表示为2或3个字节,而在UTF-16中它表示为2个字节.因此,如果您打算使用大量中文,UTF-16可能会更有效率.您还必须查看其他范围以查看每个字符使用的字节数.

为了便于携带,最好的选择是UTF,因为UTF几乎可以代表任何可能的字符集,因此观众更有可能被编程为正确解码它.GBK的大小增益并不大.