如何在 Julia 中加载 UTF16 编码的文本文件？

Question

我有一个文本文件（很确定）是用 UTF16 编码的，但我不知道如何在 Julia 中加载它。我是否必须将它作为字节加载然后转换为UTF16String？

Answer 1

最简单的方法是将其读取为字节，然后进行转换：

s = open(filename, "r") do f
    utf16(readbytes(f))
end

请注意，utf16它还检查字节顺序标记 (BOM)，因此它将处理字节顺序问题，并且不会在结果s.

如果您真的想避免制作数据的副本，并且您知道它是本机字节序的，那么这也是可能的，但是您必须明确地编写一个 NUL 终止符（因为 Julia UTF-16 字符串数据在内部有一个 NUL 代码点在传递给期望以 NUL 结尾的数据的 C 例程的结尾）：

s = open(filename, "r") do f
    b = readbytes(f)
    resize!(b, length(b)+2)
    b[end] = b[end-1] = 0
    UTF16String(reinterpret(UInt16, b))
end

但是，典型的 UTF-16 文本文件将以 BOM 开头，在这种情况下，字符串s将包含 BOM 作为其第一个字符，这可能不是您想要的。