小编Jos*_*xas的帖子

Python Pandas to_pickle无法腌制大型数据帧

我有一个带有500,000行的数据帧"DF".以下是每列的数据类型:

ID      int64
time    datetime64[ns]
data    object
Run Code Online (Sandbox Code Playgroud)

"data"列中的每个条目都是一个size = [5,500]的数组

当我尝试使用保存此数据帧时

DF.to_pickle("my_filename.pkl")
Run Code Online (Sandbox Code Playgroud)

它给我返回了以下错误:

     12     """
     13     with open(path, 'wb') as f:
---> 14         pkl.dump(obj, f, protocol=pkl.HIGHEST_PROTOCOL) 

OSError: [Errno 22] Invalid argument
Run Code Online (Sandbox Code Playgroud)

我也尝试这种方法,但我得到同样的错误:

import pickle


with open('my_filename.pkl', 'wb') as f:
    pickle.dump(DF, f)
Run Code Online (Sandbox Code Playgroud)

我尝试保存此数据帧的10行:

DF.head(10).to_pickle('test_save.pkl')
Run Code Online (Sandbox Code Playgroud)

而且我没有任何错误.因此,它可以节省小DF而不是大DF.

我在Mac上使用python 3,ipython notebook 3.

请帮我解决这个问题.我真的需要将这个DF保存到pickle文件中.我无法在互联网上找到解决方案.

python pickle pandas

11
推荐指数
2
解决办法
8644
查看次数

标签 统计

pandas ×1

pickle ×1

python ×1