从zipfile加载pickle文件

Question

由于某种原因,我无法让cPickle.load处理ZipFile.open()返回的文件类型对象.如果我在ZipFile.open()返回的文件类型对象上调用read(),我可以使用cPickle.loads.

示例....

import zipfile
import cPickle

# the data we want to store
some_data = {1: 'one', 2: 'two', 3: 'three'}

#
# create a zipped pickle file
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'w', zipfile.ZIP_DEFLATED)
zf.writestr('data.pkl', cPickle.dumps(some_data))
zf.close()

#
# cPickle.loads works
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'r')
sd1 = cPickle.loads(zf.open('data.pkl').read())
zf.close()

#
# cPickle.load doesn't work
#
zf = zipfile.ZipFile('zipped_pickle.zip', 'r')
sd2 = cPickle.load(zf.open('data.pkl'))
zf.close()

注意:我不想仅仅压缩pickle文件,而是压缩其他类型的许多文件.这只是一个例子.

Answer 1

这是由于zipfile模块实现的伪文件对象的不完美(对于Python 2.6中引入.open的ZipFile类的方法).考虑:

>>> f = zf.open('data.pkl')
>>> f.read(1)
'('
>>> f.readline()
'dp1\n'
>>> f.read(1)
''
>>> 

序列.read(1)- .readline()就是.loads国内做(在协议0咸菜,在Python 2默认,这是你用什么在这里).遗憾zipfile的是,这种特殊的序列不起作用,在第一个读/读线对之后产生了一个虚假的"文件结束"(.read返回一个空字符串).

如果在Python 2.7中修复了Python标准库中的这个错误,我不确定 - 我要检查一下.

编辑:刚检查 - 该错误在Python 2.7 rc1(当前最新的2.7版本的候选版本)中得到修复.我还不知道它是否已修复2.6的最新错误修复版本.

再次编辑:Python 2.6.5中的错误仍然存​​在,Python 2.6的最新错误修复版本 - 所以如果你不能升级到2.7并且需要更好的伪文件对象ZipFile.open,2.7修复的后端似乎唯一可行的解​​决方案.

请注意,这不是一定的,你这样做需要更好,运行得伪文件对象; 如果您控制转储调用并且可以使用最新和最好的协议,一切都会好的:

>>> zf = zipfile.ZipFile('zipped_pickle.zip', 'w', zipfile.ZIP_DEFLATED)
>>> zf.writestr('data.pkl', cPickle.dumps(some_data, -1))
>>> sd2 = cPickle.load(zf.open('data.pkl'))
>>> 

它只是旧的狡猾的向后兼容"协议0"(默认),当混合读取和读取线调用时,需要适当的伪文件对象行为load(协议0也较慢,并导致更大的泡菜,所以除非向后兼容,否则绝对不推荐使用旧的Python版本,或者0生成的pickle的ascii-only性质,是应用程序中的强制约束).