我有一个带有500,000行的数据帧"DF".以下是每列的数据类型:
ID int64
time datetime64[ns]
data object
Run Code Online (Sandbox Code Playgroud)
"data"列中的每个条目都是一个size = [5,500]的数组
当我尝试使用保存此数据帧时
DF.to_pickle("my_filename.pkl")
Run Code Online (Sandbox Code Playgroud)
它给我返回了以下错误:
12 """
13 with open(path, 'wb') as f:
---> 14 pkl.dump(obj, f, protocol=pkl.HIGHEST_PROTOCOL)
OSError: [Errno 22] Invalid argument
Run Code Online (Sandbox Code Playgroud)
我也尝试这种方法,但我得到同样的错误:
import pickle
with open('my_filename.pkl', 'wb') as f:
pickle.dump(DF, f)
Run Code Online (Sandbox Code Playgroud)
我尝试保存此数据帧的10行:
DF.head(10).to_pickle('test_save.pkl')
Run Code Online (Sandbox Code Playgroud)
而且我没有任何错误.因此,它可以节省小DF而不是大DF.
我在Mac上使用python 3,ipython notebook 3.
请帮我解决这个问题.我真的需要将这个DF保存到pickle文件中.我无法在互联网上找到解决方案.