调用函数时的Pandas,大数据,HDF表和内存使用情况

Question

简短的问题

当Pandas在HDFStore上工作时(例如:.mean()或.apply()),它是否将内存中的完整数据作为DataFrame加载,还是作为Serie逐个记录处理？

我必须处理大数据文件,我可以指定数据文件的输出格式.

我打算使用Pandas处理数据,我想设置最佳格式,以便最大化性能.

我已经看到panda.read_table()已经走了很长一段路,但它仍然至少需要与我们想要读取的原始文件大小一样多的内存(实际上至少是内存的两倍)才能转换为DataFrame .这可能适用于高达1 GB但高于1 GB的文件？这可能很难,特别是在在线共享机器上.

但是,我已经看到,现在Pandas似乎支持使用pytables的HDF表.

我的问题是:当我们在整个HDF表上进行操作时,Pandas如何管理内存？例如.mean()或.apply().它是首先在DataFrame中加载整个表,还是直接从HDF文件处理数据而不存储在内存中？

问题:磁盘使用情况下hdf5格式是否紧凑？我的意思是,它像xml一样冗长或更像JSON吗？(我知道有索引和东西,但我在这里对数据的简单描述感兴趣)

Answer 1

我想我找到了答案:是和否,这取决于你如何加载你的Pandas DataFrame.

与read_table()方法一样,您有一个"iterator"参数,它允许获取一次只能获得一条记录的生成器对象,如下所述:http://pandas.pydata.org/pandas-docs/开发/ io.html#迭代器

现在,我不知道像.mean()和.apply()这样的函数如何与这些生成器一起使用.

如果有人有更多信息/经验,请随时分享!

关于HDF5开销:

HDF5在内存中保留一个B树,用于映射磁盘上的块结构.为数据集分配的块越多,B树越大.大型B树占用内存并导致文件存储开销以及更多磁盘I/O和更高的元数据缓存争用.因此,在内存和I/O开销(小B树)和访问数据的时间(大B树)之间取得平衡非常重要.