解码shift-jis:"非法多字节序列"

Question

我正在尝试解码shift-jis编码的字符串,如下所示:

string.decode('shift-jis').encode('utf-8')

能够在我的程序中查看它.

当我遇到2个shift-jis字符时,在十六进制"0x87 0x54"和"0x87 0x55"中,我收到此错误:

UnicodeDecodeError: 'shift_jis' codec can't decode bytes in position 12-13: illegal multibyte sequence

但我确信它们是有效的shift-jis字符:http://www.rikai.com/library/kanjitables/kanji_codes.sjis.shtml

我还注意到这些字符在我的shift-jis文本编辑器中显示为黑盒子,这意味着它们无法被识别.因此,这两个字符有一些特殊之处,使我的编辑器和Python解码器失败.救命？

(抱歉,我无法发布示例字符串,因为当这些字符存在时,它不会从那里开始添加到剪贴板,也会自动转换为unicode.虽然我发布了它们的十六进制值.)

Answer 1

存在多个版本的Shift JIS.所述shift_jis编解码器是JIS X 0208,而该表是JIS X 0213中,对应于shift_jisx0213编解码器.

>>> u'???'.encode('shift_jisx0213')
'\x87R\x87S\x87T'