Python - 使用BOM解码UTF-16文件

Question

我有一个带BOM的UTF-16 LE文件.我想将这个文件翻转到没有BOM的UTF-8,所以我可以用Python解析它.

我使用的常用代码没有做到这一点,它返回了未知字符而不是实际的文件内容.

f = open('dbo.chrRaces.Table.sql').read()
f = str(f).decode('utf-16le', errors='ignore').encode('utf8')
print f

解码此文件的正确方法是什么,以便我可以解析它f.readlines()？

Answer 1

首先,你应该以二进制模式阅读,否则会让人感到困惑.

然后,检查并删除BOM,因为它是文件的一部分,但不是实际文本的一部分.

import codecs
encoded_text = open('dbo.chrRaces.Table.sql', 'rb').read()    #you should read in binary mode to get the BOM correctly
bom= codecs.BOM_UTF16_LE                                      #print dir(codecs) for other encodings
assert encoded_text.startswith(bom)                           #make sure the encoding is what you expect, otherwise you'll get wrong data
encoded_text= encoded_text[len(bom):]                         #strip away the BOM
decoded_text= encoded_text.decode('utf-16le')                 #decode to unicode

utf-8在完成所有解析/处理之前,不要编码(以或其他方式).你应该使用unicode字符串做所有这些.

此外,errors='ignore'在decode可能是一个坏主意.考虑更糟糕的事情:让你的程序告诉你一些错误并停止或返回错误的数据？

Answer 2

这适用于 Python 3：

f  = open('test_utf16.txt', mode='r', encoding='utf-16').read()
print(f)