熊猫使用的内存比要求的大得多

Question

我在Ubuntu 16.10上使用numpy(1.13.1)和pandas(0.20.3)和python 2.7或3.5(两者都有相同的问题).

我正在调查大熊猫内存处理(特别是当它复制或不复制数据时)并遇到了一个我不明白的重要内存问题.虽然我已经看到(很多)人们对其内存性能的其他问题,但我没有发现任何直接解决此问题的问题.

具体来说,熊猫分配大量的内存比我要求它.当我尝试使用特定大小的列分配DataFrame时,我注意到了一些非常奇怪的行为:

import pandas as pd, numpy as np
GB = 1024**3
df = pd.DataFrame()
df['MyCol'] = np.ones(int(1*GB/8), dtype='float64')

当我执行这个时,我看到我的python进程实际上分配了6GB内存,(如果我要求2GB则为12G,如果我要求3GB则为21GB,如果我要求4GB,我的计算机会中断: - /)而不是1GB预期.我想起初可能Python正在进行一些积极的预分配,但是如果我只构建numpy数组本身,我每次都会得到多少内存,无论是1GB,10GB,25GB等等.

此外,更有趣的是,如果我稍微更改代码:

df['MyCol'] = np.ones(int(1*GB), dtype='uint8')

它分配了很多内存,导致我的系统崩溃(单独运行numpy调用正确分配1GB内存).(编辑2017/8/17:出于好奇,我今天尝试了更新版本的熊猫(0.20.3)和numpy(1.13.1),以及RAM升级到64GB.并且运行此命令仍然被打破,分配所有64(ish)GB的可用RAM.)

如果pandas制作副本并且可能会分配另一列来存储索引,我可以理解要求的内存加倍甚至三倍,但我无法解释它实际上在做什么.粗略地看一下代码也不是很清楚.

我尝试用几种不同的方式构建数据框,所有这些都具有相同的结果.鉴于其他人成功地使用这个软件包进行大数据分析,我不得不假设我做了一些可怕的错误,尽管我可以告诉我文档应该是正确的.

思考？

一些额外的说明:

1. 即使内存使用量很大,当调用memory_usage()时,pandas仍会(错误地)报告预期的数据大小(即,如果我分配1GB数组,它会报告1GB,即使实际已分配了6-10GB).
2. 在所有情况下,索引都很小(由mem​​ory_usage()报告,这可能是不准确的).
3. 释放pandas DataFrame(df = None,gc.collect())实际上并不释放所有内存.使用此方法必须在某处泄漏.

Answer 1

所以我创建了一个8000字节的数组：

In [248]: x=np.ones(1000)

In [249]: df=pd.DataFrame({'MyCol': x}, dtype=float)
In [250]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000 entries, 0 to 999
Data columns (total 1 columns):
MyCol    1000 non-null float64
dtypes: float64(1)
memory usage: 15.6 KB

8k 用于数据，8k 用于索引。

我添加一列 - 使用量增加的大小x：

In [251]: df['col2']=x
In [252]: df.info()
<class 'pandas.core.frame.DataFrame'>
Int64Index: 1000 entries, 0 to 999
Data columns (total 2 columns):
MyCol    1000 non-null float64
col2     1000 non-null float64
dtypes: float64(2)
memory usage: 23.4 KB

In [253]: x.nbytes
Out[253]: 8000