如何在Python 3中对可移植字符串进行pickle和unpickle

Question

我需要将一个Python3对象pickle到一个字符串,我想从Travis CI构建中的环境变量中取消.问题是我似乎找不到在Python3中腌制到可移植字符串(unicode)的方法:

import os, pickle    

from my_module import MyPickleableClass


obj = {'cls': MyPickleableClass, 'other_stuf': '(...)'}

pickled = pickle.dumps(obj)

# raises TypeError: str expected, not bytes
os.environ['pickled'] = pickled

# raises UnicodeDecodeError: 'utf-8' codec can't decode byte 0xbb (...)
os.environ['pickled'] = pickled.decode('utf-8')

pickle.loads(os.environ['pickled'])

有没有办法序列化复杂的对象,如datetime.datetimeunicode或Python3中的其他字符串表示,我可以将其转移到另一台机器并反序列化？

更新

我已经测试了@kindall建议的解决方案,但pickle.dumps(obj, 0).decode()提出了一个问题UnicodeDecodeError.尽管如此,base64方法仍然有效,但需要额外的解码/编码步骤.该解决方案适用于Python2.x和Python3.x.

# encode returns bytes so it needs to be decoded to string
pickled = pickle.loads(codecs.decode(pickled.encode(), 'base64')).decode()

type(pickled)  # <class 'str'>

unpickled = pickle.loads(codecs.decode(pickled.encode(), 'base64'))

Answer 1

pickle.dumps()产生一个bytes物体.期望这些任意字节是有效的UTF-8文本(通过尝试将其解码为UTF-8中的字符串而做出的假设)非常乐观.如果它有效,那将是巧合!

一种解决方案是使用完全使用ASCII字符的旧酸洗协议.这仍然是bytes,但由于它只是ASCII,它可以被解码为一个没有压力的字符串:

pickled = pickled.dumps(obj, 0).decode()

您还可以使用其他一些编码方法将二进制pickle对象编码为文本,例如base64:

import codecs
pickled = codecs.encode(pickle.dumps(obj), "base64").decode()

解码将是:

unpickled = pickle.loads(codecs.decode(pickled.encode(), "base64"))

使用pickle协议0似乎导致比base64编码二进制pickle更短的字符串(abarnert建议的十六进制编码将比base64更大),但我没有严格测试它或任何东西.用你的数据测试它,看看.