有没有办法知道ElementTree DOM消耗了多少内存？

Question

假设您执行以下操作:

dom = ElementTree()
dom.parse(some_file_path)

我想在我的过程中记录这个dom现在使用的大量内存.我不需要精确的东西,粗糙的东西会做.

我不认为我可以从源XML文件的大小派生它.我有一个500千字节的文件似乎在我的python进程的内存使用量增加约5MB后,如上例所示加载它.

我查看了ElementTree API,但没有看到任何提供此信息的API.任何人都知道在解析/加载XML文件后知道ElementTree实例使用了多少内存的方法？

Answer 1

基本上你想要找到特定python对象的内存消耗.就是这样.这是一个ElementTree对象,但它可以是任何东西.

据我所知,缩短追逐时间没有简单的方法来找出python对象的内存大小.你可能会发现的一个问题是Python对象 - 比如列表和dicts - 可能引用了其他python对象(在这种情况下,你的大小是什么？包含每个对象大小的大小？).有一些指针开销和与对象类型和垃圾收集相关的内部结构.最后,一些python对象具有非显而易见的行为.例如,列出大多数时间为更多对象预留空间; dicts甚至更复杂,因为它们可以以不同的方式操作(它们对于少量密钥具有不同的实现,并且有时它们超过分配条目).

• 有一大块代码可以尝试最好地估计内存中python对象的大小.还有一些更简单的近似值.但它们总是近似的.
• 您可能还想查看一些关于PyObject的旧描述(几乎所有python对象的内部C结构).
• 此外,PySizer,"Python的内存分析器",发现于http://pysizer.8325.org/.然而,该页面似乎表明该项目暂时没有更新,并指的是......
• 您可以尝试Heapy,"支持调试和优化Python程序中与内存相关的问题,"请访问http://guppy-pe.sourceforge.net/#Heapy.
• objgraph看起来很有趣:http://mg.pov.lt/objgraph/