标签: pickle

我有一个来自MNIST数据集的pkl文件,它由手写的数字图像组成.

我想看看每个数字图像,所以我需要解压缩pkl文件,除了我不知道如何.

有没有办法解压缩/解压缩pkl文件？

我是第一次学习对象序列化.我尝试阅读和"谷歌搜索"模块泡菜和搁置的差异,但我不确定我理解它.什么时候使用哪一个？Pickle可以将每个python对象转换为可以保存到文件中的字节流.那为什么我们需要模块搁置？泡菜不快吗？

这是一个学生的问题,我没有得到一个好的答案.有时,我见过.pickle,.pck,.pcl,和.db对于包含Python的泡菜,但我不能确定什么是最常见的或最佳实践文件.我知道后三个扩展也用于其他事情.

相关问题是在使用REST API的系统之间发送pickle的首选MIME类型是什么？

我最近得到了一个分配,我需要将一个字典(每个键引用一个列表)放入酸洗形式.唯一的问题是我不知道什么是腌制形式.任何人都可以指出我在一些好资源的正确方向上帮助我学习这个概念吗？谢谢!

我使用python 2.7并试图挑选一个对象.我想知道泡菜协议之间真正的区别是什么.

import numpy as np
import pickle
class data(object):
    def __init__(self):
        self.a = np.zeros((100, 37000, 3), dtype=np.float32)

d = data()
print "data size: ", d.a.nbytes/1000000.
print "highest protocol: ", pickle.HIGHEST_PROTOCOL
pickle.dump(d,open("noProt", 'w'))
pickle.dump(d,open("prot0", 'w'), protocol=0)
pickle.dump(d,open("prot1", 'w'), protocol=1)
pickle.dump(d,open("prot2", 'w'), protocol=2)


out >> data size:  44.4
out >> highest protocol:  2

然后我发现保存的文件在磁盘上有不同的大小:

• noProt:177.6MB
• prot0:177.6MB
• prot1:44.4MB
• prot2:44.4MB

我知道这prot0是一个人类可读的文本文件,所以我不想使用它.我猜协议0是默认给出的协议.

我想知道协议1和协议2之间的区别是什么,我有理由选择其中一个或另一个吗？

什么是更好用,pickle或cPickle？

我希望我的类能够实现Save和Load函数,这些函数只是简单地修改了类.但显然你不能在下面的时尚中使用'self'.你怎么能这样做？

self = cPickle.load(f)

cPickle.dump(self,f,2)

我有一个课程,为游戏中的玩家提供服务,创建他们和其他东西.

我需要将这些播放器对象保存在文件中以便以后使用.我尝试了pickle模块,但我不知道如何保存多个对象并再次加载它们？有没有办法做到这一点,或者我应该使用其他类,如列表,并保存和加载我的对象列表？

有没有更好的办法？

基于此注释和引用的文档,Python 3.4+中的Pickle 4.0+应该能够腌制大于4 GB的字节对象.

但是,在Mac OS X 10.10.4上使用python 3.4.3或python 3.5.0b2时,我尝试挑选一个大字节数组时出错:

>>> import pickle
>>> x = bytearray(8 * 1000 * 1000 * 1000)
>>> fp = open("x.dat", "wb")
>>> pickle.dump(x, fp, protocol = 4)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
OSError: [Errno 22] Invalid argument

我的代码中是否有错误或我误解了文档？

背景:我正在使用最小构造算法构建一个代表字典的trie.输入列表是4.3M utf-8字符串,按字典顺序排序.生成的图形是非循环的,最大深度为638个节点.我的脚本的第一行将递归限制设置为1100 sys.setrecursionlimit().

问题:我希望能够将我的trie序列化到磁盘,因此我可以将其加载到内存中而无需从头开始重建(大约22分钟).我曾经尝试都pickle.dump()和cPickle.dump(),用文本和二进制协议两种.每次,我得到一个如下所示的堆栈跟踪:

  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/pickle.py", line 649, in save_dict
    self._batch_setitems(obj.iteritems())
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/pickle.py", line 663, in _batch_setitems
    save(v)
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/pickle.py", line 725, in save_inst
    save(stuff)
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/pickle.py", line 286, in save
    f(self, obj) # Call unbound method with explicit self
  File "/System/Library/Frameworks/Python.framework/Versions/2.5/lib/python2.5/pickle.py", line 648, in save_dict
    self.memoize(obj)
RuntimeError: maximum recursion depth exceeded

我的数据结构相对简单: trie包含对开始状态的引用,并定义了一些方法. dfa_state包含布尔字段,字符串字段和从标签到状态的字典映射.

我对内部工作原理并不十分熟悉pickle- …

背景:我刚刚开始使用scikit-learn,并在页面底部阅读有关joblib和pickle的内容.

使用joblib替换pickle(joblib.dump和joblib.load)可能更有意思,它对大数据更有效,但只能腌制到磁盘而不是字符串

我读了关于Pickle的问答 ,Python中常见的pickle用例,并想知道这里的社区是否可以分享joblib和pickle之间的差异？应该何时使用另一个？