Python sys.getsizeof的深层版本

Python sys.getsizeof的深层版本,python,memory,python-3.x,deep-copy,Python,Memory,Python 3.x,Deep Copy,我想计算对象使用的内存sys.getsizeof很好,但是很浅(例如,在列表上调用时,它不包括列表元素占用的内存) 我想编写一个通用的sys.getsizeof的“deep”版本。我理解“深”的定义有些含糊不清;我对这件事非常满意 这是我的第一次尝试: def get_deep_sizeof(x, level=0, processed=None): if processed is None: # we're here only if this function is ca

我想计算对象使用的内存
sys.getsizeof
很好,但是很浅(例如,在列表上调用时,它不包括列表元素占用的内存)

我想编写一个通用的
sys.getsizeof
的“deep”版本。我理解“深”的定义有些含糊不清;我对这件事非常满意

这是我的第一次尝试:

def get_deep_sizeof(x, level=0, processed=None):
    if processed is None:
        # we're here only if this function is called by client code, not recursively
        processed = set()
    processed.add(id(x))
    mem = sys.getsizeof(x)
    if isinstance(x, collections.Iterable) and not isinstance(x, str):
        for xx in x:
            if id(xx) in processed:
                continue
            mem += get_deep_sizeof(xx, level+1, processed)
            if isinstance(x, dict):
                mem += get_deep_sizeof(x[xx], level+1, processed)
    return mem
它存在两个已知问题和数量未知的未知问题:

  • 我不知道如何以捕获所有链接对象的方式遍历通用容器。因此,我在中使用
    进行了迭代,并对dictionary的情况进行了硬编码(包括值,而不仅仅是键)。显然,这不适用于像dictionary这样的其他类
  • 我不得不硬编码排除
    str
    (这是一个iterable,但没有指向任何其他对象的链接)。同样,如果有更多类似的对象,这将中断
我怀疑在中使用
不是一个好主意,但我不确定还能做什么。

我想这已经让你在这一点上大吃一惊了

从他们的:


可以找到源代码

看起来很棒。然而,这个问题似乎没有优雅的解决方案
pympler
是硬编码
dict
(并允许注册其他类作为硬编码处理)。我想知道为什么通过所有属性(特别排除的属性除外)的迭代都不起作用……啊,这是对和的重复问题。
>>> from pympler.asizeof import asizeof
>>> obj = [1, 2, (3, 4), 'text']
>>> asizeof(obj)
176