如何检测文件是否使用UTF-8编码？

Question

有没有办法识别文本文件是否是Python中的UTF-8？

如果文件是UTF-8,我真的很想得到.我不需要检测其他编码.

Answer 1

您在评论中提到,您只需要检测UTF-8.如果你知道替代方案只包含单字节编码,那么就有一种解决方案可以正常工作.

如果你知道它是UTF-8或单字节编码latin-1,那么先尝试以UTF-8打开它,然后再用其他编码打开它.如果文件仅包含ASCII字符,则最终将以UTF-8打开,即使它是用作其他编码.如果它包含任何非ASCII字符,则几乎总能正确检测两者之间的正确字符集.

try:
    # or codecs.open on Python <= 2.5
    # or io.open on Python > 2.5 and <= 2.7
    filedata = open(filename, encoding='UTF-8').read() 
except:
    filedata = open(filename, encoding='other-single-byte-encoding').read() 

您最好的选择是直接或通过BeautifulSoup 使用chardetPyPI包UnicodeDamnit:

chardet 1.0.1

通用编码检测器

检测:

• ASCII,UTF-8,UTF-16(2种变体),UTF-32(4种变体)
• Big5,GB2312,EUC-TW,HZ-GB-2312,ISO-2022-CN(繁体中文和简体中文)
• EUC-JP,SHIFT_JIS,ISO-2022-JP(日文)
• EUC-KR,ISO-2022-KR(韩文)
• KOI8-R,MacCyrillic,IBM855,IBM866,ISO-8859-5,windows-1251(西里尔文)
• ISO-8859-2,windows-1250(匈牙利语)
• ISO-8859-5,windows-1251(保加利亚语)
• windows-1252(英文)
• ISO-8859-7,windows-1253(希腊语)
• ISO-8859-8,windows-1255(视觉和逻辑希伯来语)
• TIS-620(泰国语)

需要Python 2.1或更高版本

但是,某些文件在多种编码中有效,因此chardet不是灵丹妙药.