Python sys.getsizeof的深层版本

Python sys.getsizeof的深层版本,python,memory,python-3.x,deep-copy,Python,Memory,Python 3.x,Deep Copy,我想计算对象使用的内存。sys.getsizeof很好,但是很浅,例如,在列表上调用,它不包括列表元素占用的内存 我想编写sys.getsizeof的通用深层版本。我理解深度的定义有些模糊;我对这件事非常满意 这是我的第一次尝试: def get_deep_sizeof(x, level=0, processed=None): if processed is None: # we're here only if this function is called by cli

我想计算对象使用的内存。sys.getsizeof很好,但是很浅,例如,在列表上调用,它不包括列表元素占用的内存

我想编写sys.getsizeof的通用深层版本。我理解深度的定义有些模糊;我对这件事非常满意

这是我的第一次尝试:

def get_deep_sizeof(x, level=0, processed=None):
    if processed is None:
        # we're here only if this function is called by client code, not recursively
        processed = set()
    processed.add(id(x))
    mem = sys.getsizeof(x)
    if isinstance(x, collections.Iterable) and not isinstance(x, str):
        for xx in x:
            if id(xx) in processed:
                continue
            mem += get_deep_sizeof(xx, level+1, processed)
            if isinstance(x, dict):
                mem += get_deep_sizeof(x[xx], level+1, processed)
    return mem
它存在两个已知问题和数量未知的未知问题:

我不知道如何以捕获所有链接对象的方式遍历通用容器。因此,我迭代使用in,并对dictionary的情况进行硬编码,以包括值,而不仅仅是键。显然,这不适用于像dictionary这样的其他类。 我必须硬编码排除str,这是一个iterable,但没有任何其他对象的链接。同样,如果有更多类似的对象,这将中断。 我怀疑使用in不是一个好主意,但我不知道还能做什么。

我想这已经让你在这一点上大吃一惊了

从他们的:


可以找到源代码

看起来很棒。然而,这个问题似乎没有优雅的解决方案;pympler是硬编码dict,允许注册其他类。我想知道为什么除了那些特别排除的属性之外,所有属性的迭代都不起作用……啊,这是对和的重复问题。
>>> from pympler.asizeof import asizeof
>>> obj = [1, 2, (3, 4), 'text']
>>> asizeof(obj)
176