使用pandas数据帧泄漏内存

Question

我pandas.DataFrame在多线程代码中使用(实际上是DataFrame被调用的自定义子类Sound).我注意到我有内存泄漏,因为我的程序的内存使用量逐渐增加超过1000万,最终达到我的计算机内存的约100%并崩溃.

我使用objgraph来尝试跟踪这个泄漏,并发现实例的MyDataFrame数量一直在增加而它不应该:它的run方法中的每个线程都创建一个实例,进行一些计算,将结果保存在文件中退出...所以不应该保留任何参考.

使用objgraph我发现内存中的所有数据帧都有一个类似的参考图:

我不知道这是否正常......看起来这就是将我的物品留在记忆中的原因.任何想法,建议,见解？

Answer 1

确认索引基础架构中存在某种内存泄漏.它不是由上面的参考图引起的.让我们将讨论转移到GitHub(SO用于问答):

https://github.com/pydata/pandas/issues/2659

编辑:这实际上似乎根本不是内存泄漏,但可能与操作系统内存分配问题有关.有关更多信息,请查看github问题