深度版本的sys.getsizeof

Question

我想计算一个对象使用的内存.sys.getsizeof很好,但很浅(例如,在列表上调用,它不包括列表元素占用的内存).

我想写一个通用的"深层"版本sys.getsizeof.我理解"深层"的定义有些含糊不清; 我很满意后面copy.deepcopy的定义.

这是我的第一次尝试:

def get_deep_sizeof(x, level=0, processed=None):
    if processed is None:
        # we're here only if this function is called by client code, not recursively
        processed = set()
    processed.add(id(x))
    mem = sys.getsizeof(x)
    if isinstance(x, collections.Iterable) and not isinstance(x, str):
        for xx in x:
            if id(xx) in processed:
                continue
            mem += get_deep_sizeof(xx, level+1, processed)
            if isinstance(x, dict):
                mem += get_deep_sizeof(x[xx], level+1, processed)
    return mem

它遇到两个已知问题,以及未知数量未知的问题:

• 我不知道如何以捕获所有链接对象的方式遍历通用容器.因此,我迭代使用in,并硬编码字典的情况(包括值,而不仅仅是键).显然,这不适用于像字典这样的其他类.
• 我不得不硬编码排除str(这是一个可迭代的,但没有任何其他对象的链接).如果有更多这样的对象,这将会破坏.

我怀疑使用in不是一个好主意,但我不知道还能做什么.

Answer 1

我认为Pympler已经打败了你.

从他们的文件:

>>> from pympler.asizeof import asizeof
>>> obj = [1, 2, (3, 4), 'text']
>>> asizeof(obj)
176

如果您需要特定示例,可以在asizeof 此处找到源代码.