我有一些Perl代码将新行和换行符转换为标准化形式.输入文本是日语,因此将有多字节字符.
是否仍然可以逐字节地进行这种转换(我认为它目前正在进行),还是我必须检测字符集并启用Unicode支持?换句话说,流行的编码(Shift-JIS,EUC-JP,UTF-8,ISO-2022-JP)是否使用字节作为其字符集的一部分,可能会被误认为是ASCII控制字符?
我只需要CR和LF就能工作.
更新:添加了ISO-2022-JP.这是一个看起来最麻烦的那个时髦的逃脱序列......
unicode newline character-encoding cjk
character-encoding ×1
cjk ×1
newline ×1
unicode ×1