在python中转换为安全的unicode

Question

我正在处理未知数据并尝试使用Python/Django插入MySQL数据库.我收到一些我不太了解的错误,正在寻求帮助.这是错误.

Incorrect string value: '\xEF\xBF\xBDs m...'

我的猜测是字符串没有正确转换为unicode？这是我的unicode转换代码.

s = unicode(content, "utf-8", errors="replace")

如果没有上面的unicode转换,我得到的错误是

'utf8' codec can't decode byte 0x92 in position 31: unexpected code byte. You passed in 'Fabulous home on one of Decatur\x92s most

任何帮助表示赞赏!

Answer 1

什么是原始编码？我假设"cp1252",来自pixelbeat的回答.在那种情况下,你可以做到

>>> orig # Byte string, encoded in cp1252
'Fabulous home on one of Decatur\x92s most' 

>>> uni = orig.decode('cp1252')
>>> uni # Unicode string
u'Fabulous home on one of Decatur\u2019s most'

>>> s = uni.encode('utf8')  
>>> s # Correct byte string encoded in utf-8
'Fabulous home on one of Decatur\xe2\x80\x99s most'