使用Pandas和HD5/HDFStore压缩

Tra*_*VOX 8 python hdf5 pandas

对于项目的几个方面,使用"h5"存储将是理想的.然而,文件变得越来越大,坦率地说,我们的空间已经不多了.

这个说法...

 store.put(storekey, data, table=False, compression='gzip')
Run Code Online (Sandbox Code Playgroud)

在文件大小方面没有产生任何差异...

 store.put(storekey, data, table=False)
Run Code Online (Sandbox Code Playgroud)

穿过熊猫时是否可以使用压缩?

...如果不可能,我不介意使用h5py,但是,我不确定要为"数据类型"添加什么,因为DataFrame包含各种类型(字符串,float,int等)

任何帮助/见解将不胜感激!

Jef*_*eff 9

请参阅有关使用压缩的文档HDFStore

gzip不是一个有效的压缩选项(并被忽略,这是一个错误).尝试任何zlib, bzip2, lzo, blosc(bzip2/lzo可能需要安装额外的库)

请参阅 有关各种压缩的PyTables文档

这是一个半相关的问题.