UnicodeDecodeError,无效的连续字节

Question

为什么以下项目失败？为什么它会成功使用"latin-1"编解码器？

o = "a test of \xe9 char" #I want this to remain a string as this is what I am receiving
v = o.decode("utf-8")

结果是:

 Traceback (most recent call last):  
 File "<stdin>", line 1, in <module>  
 File "C:\Python27\lib\encodings\utf_8.py",
 line 16, in decode
     return codecs.utf_8_decode(input, errors, True) UnicodeDecodeError:
 'utf8' codec can't decode byte 0xe9 in position 10: invalid continuation byte

Answer 1

在二进制中,0xE9看起来像1110 1001.如果您在维基百科上阅读有关UTF-8的信息,您会看到这样一个字节后面必须跟两个表格10xx xxxx.所以,例如:

>>> b'\xe9\x80\x80'.decode('utf-8')
u'\u9000'

但这只是异常的机械原因.在这种情况下,你有一个几乎可以肯定用拉丁文1编码的字符串.你可以看到UTF-8和拉丁语1看起来有什么不同:

>>> u'\xe9'.encode('utf-8')
b'\xc3\xa9'
>>> u'\xe9'.encode('latin-1')
b'\xe9'

(注意,我在这里混合使用Python 2和3表示.输入在任何版本的Python中都有效,但是你的Python解释器不太可能以这种方式实际显示unicode和byte字符串.)

Answer 2

当我尝试通过pandas read_csv方法打开csv文件时,我遇到了同样的错误.

解决方案是将编码更改为'latin-1':

pd.read_csv('ml-100k/u.item', sep='|', names=m_cols , encoding='latin-1')

Answer 3

它是无效的UTF-8.该字符是ISO-Latin1中的e-acute字符,这就是为什么它成功使用该代码集.

如果您不知道正在接收字符串的代码集,则会遇到一些麻烦.如果为您的协议/应用程序选择一个代码集(希望是UTF-8),然后您只是拒绝那些没有解码的代码集,那将是最好的.

如果你不能这样做,你需要启发式.

Answer 4

因为UTF-8是多字节的,并且没有与您的\xe9以下空格组合相对应的字符.

为什么在utf-8和latin-1 都能成功？

在这里utf-8中应该是同一个句子:

>>> o.decode('latin-1').encode("utf-8")
'a test of \xc3\xa9 char'

Answer 5

使用这个，如果它显示UTF-8的错误

pd.read_csv('File_name.csv',encoding='latin-1')

Answer 6

utf-8 编码错误通常出现在数值范围超过 0 到 127 时。

引发此异常的原因是：

1）如果码位<128，则每个字节与码位的值相同。2) 如果码位为 128 或更大，则 Unicode 字符串不能用这种编码表示。（在这种情况下，Python 会引发 UnicodeEncodeError 异常。）

为了克服这一点，我们有一套编码，最广泛使用的是“Latin-1，也称为 ISO-8859-1”

因此 ISO-8859-1 Unicode 点 0-255 与 Latin-1 值相同，因此转换为这种编码只需将代码点转换为字节值；如果遇到大于 255 的代码点，则字符串无法编码为 Latin-1

当您尝试加载数据集时发生此异常时，请尝试使用此格式

df=pd.read_csv("top50.csv",encoding='ISO-8859-1')

在语法末尾添加编码技术，然后接受加载数据集。

Answer 7

如果操作刚刚打开的文件时出现此错误，请检查是否以'rb'模式打开了该文件。

Answer 8

这也发生在我身上，当时我正在从.txt文件中阅读包含希伯来语的文本。

我单击： file -> save as并将此文件保存为UTF-8编码

Answer 9

好吧，当您在 Pandas 中输入特定文件或数据时，就会出现这种类型的错误，例如：-

data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv)

然后错误显示如下：- UnicodeDecodeError: 'utf-8' codec can't decode byte 0xf4 in position 1: invalid continuation byte

所以为了避免这种类型的错误可以通过添加一个参数来删除

data=pd.read_csv('/kaggle/input/fertilizers-by-product-fao/FertilizersProduct.csv', encoding='ISO-8859-1')

Answer 10

TLDR：我建议在切换编码器以消除错误之前深入调查问题的根源。

\n

当我处理大量包含其他 zip 文件的 zip 文件时，出现此错误。

\n

我的工作流程如下：

\n

\n
1. 读取邮编
\n
2. 读取儿童拉链
\n
3. 从子 zip 中读取文本
\n

\n

在某些时候我遇到了上面的编码错误。经过仔细检查，发现一些儿童拉链错误地包含了更多拉链。将这些 zip 作为文本读取会导致一些时髦的字符表示，我可以用 静音encoding="latin-1"，但这反过来又导致了进一步的问题。由于我正在处理国际数据，因此假设这是一个编码问题并不是完全愚蠢的（我遇到了问题0xc2: \xc3\x82），但最终这不是实际的问题。

\n