Python sys.getsizeof的深层版本
我想计算对象使用的内存Python sys.getsizeof的深层版本,python,memory,python-3.x,deep-copy,Python,Memory,Python 3.x,Deep Copy,我想计算对象使用的内存sys.getsizeof很好,但是很浅(例如,在列表上调用时,它不包括列表元素占用的内存) 我想编写一个通用的sys.getsizeof的“deep”版本。我理解“深”的定义有些含糊不清;我对这件事非常满意 这是我的第一次尝试: def get_deep_sizeof(x, level=0, processed=None): if processed is None: # we're here only if this function is ca
sys.getsizeof
很好,但是很浅(例如,在列表上调用时,它不包括列表元素占用的内存)
我想编写一个通用的sys.getsizeof
的“deep”版本。我理解“深”的定义有些含糊不清;我对这件事非常满意
这是我的第一次尝试:
def get_deep_sizeof(x, level=0, processed=None):
if processed is None:
# we're here only if this function is called by client code, not recursively
processed = set()
processed.add(id(x))
mem = sys.getsizeof(x)
if isinstance(x, collections.Iterable) and not isinstance(x, str):
for xx in x:
if id(xx) in processed:
continue
mem += get_deep_sizeof(xx, level+1, processed)
if isinstance(x, dict):
mem += get_deep_sizeof(x[xx], level+1, processed)
return mem
它存在两个已知问题和数量未知的未知问题:
- 我不知道如何以捕获所有链接对象的方式遍历通用容器。因此,我在中使用
进行了迭代,并对dictionary的情况进行了硬编码(包括值,而不仅仅是键)。显然,这不适用于像dictionary这样的其他类
- 我不得不硬编码排除
(这是一个iterable,但没有指向任何其他对象的链接)。同样,如果有更多类似的对象,这将中断str
不是一个好主意,但我不确定还能做什么。我想这已经让你在这一点上大吃一惊了
从他们的:
可以找到源代码看起来很棒。然而,这个问题似乎没有优雅的解决方案pympler
是硬编码dict
(并允许注册其他类作为硬编码处理)。我想知道为什么通过所有属性(特别排除的属性除外)的迭代都不起作用……啊,这是对和的重复问题。
>>> from pympler.asizeof import asizeof
>>> obj = [1, 2, (3, 4), 'text']
>>> asizeof(obj)
176