释放与IPython Notebook中的错误相关的内存

Question

我有时会在IPython笔记本中使用非常大的数据集.有时单个pandas DataFrame将占用1 + GB的内存,因此我无法保留许多副本.

我发现如果我尝试对这样的矩阵执行操作,并且出现错误,我就不会恢复内存 - 某些间歇性变量仍在某处被跟踪.问题是,我不知道在哪里,也无法释放它!

例如,下图显示了重复尝试执行单元后的内存消耗(图中的每个步骤对应于执行单元的尝试).每次消耗一个永不释放的新内存块.

有谁知道这个记忆的去向以及如何释放它？或者,如果这是一个错误(即内存泄漏或类似),你如何表明？我不想将此报告为错误,如果它实际上是代码按设计执行的副作用(例如,IPython是缓存内容而我只是滥用缓存系统).

谢谢!

Answer 1

根据 github 上有关问题 642 的讨论，jsonschema 2.4 中存在已知的内存泄漏。更新到 jsonschema 2.5.1 后，我不再遇到这个问题。

因此，如果您使用较旧的框架并看到此问题，则至少需要升级 jsonschema。