python deepcopy是比自定义代码更高效,还是效率/可预测性更低?
我有一个dict,其中的值是非嵌套列表(具体来说,键是int,值是int的列表)。我想做一份深度拷贝,这样我就不会修改原始目录中的列表 我知道我可以用python deepcopy是比自定义代码更高效,还是效率/可预测性更低?,python,Python,我有一个dict,其中的值是非嵌套列表(具体来说,键是int,值是int的列表)。我想做一份深度拷贝,这样我就不会修改原始目录中的列表 我知道我可以用 copied = copy.deepcopy(original) 然而,由于我知道数据结构的形式,我也可以使用 copied = {key:valuelist[:] for (key,valuelist) in original.iteritems()} 其中一个解决方案更好吗?更有效率?不太可能导致令人不快的意外 有人告诉我,deepcop
copied = copy.deepcopy(original)
然而,由于我知道数据结构的形式,我也可以使用
copied = {key:valuelist[:] for (key,valuelist) in original.iteritems()}
其中一个解决方案更好吗?更有效率?不太可能导致令人不快的意外
有人告诉我,deepcopy()有一些陷阱,但我真的不明白是什么。我还想了解使用deepcopy()是比我的代码效率低(可能是因为它是一个更通用的解决方案?)还是更高效(可能是在较低的级别上进行了优化?)我的建议是现在使用
deepcopy
,如果它太慢,你可以用自定义函数替换它
如果您的dict真的很大,它可能会变慢,但只要您不使用真正大的数据,我就不会太担心了。我使用了下面的代码,并得到了一些结果
import copy
import time
def go(loop):
original = {x: [y for y in range(x)] for x in xrange(100)}
print loop
start = time.time()
for x in xrange(loop):
copied = copy.deepcopy(original)
print 'deepcopy %ss' % (time.time() - start)
start = time.time()
for x in xrange(loop):
copied = {k: v[:] for (k,v) in original.iteritems()}
print 'custome %ss' % (time.time() - start)
print ''
for x in (100, 1000, 10000):
go(x)
result
100
deepcopy 0.47200012207s
custome 0.00699996948242s
1000
deepcopy 4.69200015068s
custome 0.0620000362396s
10000
deepcopy 47.7449998856s
custome 0.677999973297s
显然,
copy.deepcopy
更糟糕。我认为它比定制方法处理的要多得多,copy.deepcopy
比第二个解决方案慢得多:
$ python -m timeit "original = {x: range(10) for x in xrange(10)}; copy = {x: v[:] for x,v in original.iteritems()}"
100000 loops, best of 3: 5.41 usec per loop
$ python -m timeit "original = {x: range(1000) for x in xrange(1000)}; copy = {x: v[:] for x,v in original.iteritems()}"
100 loops, best of 3: 17.1 msec per loop
$ python -m timeit "import copy; original = {x: range(10) for x in xrange(10)}; c = copy.deepcopy(original)"
10000 loops, best of 3: 86.4 usec per loop
$ python -m timeit "import copy; original = {x: range(1000) for x in xrange(1000)}; c = copy.deepcopy(original)"
10 loops, best of 3: 1.4 sec per loop
deepcopy
比dict comprehension+list copy慢得多的原因是:
是一种多用途功能-它适用于大多数任何类型的对象deepcopy
是用python实现的,而dict理解和列表切片是在较低的级别上完成的deepcopy
递归地复制容器中的元素,而您的dict理解不会deepcopy
>>> import copy
>>> obj = object()
>>> original = {x: [obj] * 10 for x in xrange(10)}
>>> copy1 = {x:v[:] for x,v in original.iteritems()}
>>> copy2 = copy.deepcopy(original)
>>> copy1[0][0] is original[0][0]
True
>>> copy2[0][0] is original[0][0]
False
如您所见,
deepcopy
复制了original
中包含的obj
,以便copy2
列表包含它的副本,而不是obj
本身。与dict理解不同,dict理解在创建新的列表对象的同时保留列表中的元素。您是否尝试过这两种解决方案以查看哪一种更快?老实说,我甚至不确定python代码计时的好方法。我知道伊皮顿的时间命令。使用它让我觉得deepcopy对于我的特定案例来说要慢得多(如果我测试正确的话)——但这是否意味着对于类似的案例来说要慢得多?一个基于理解为什么它应该更慢的答案对我来说仍然是有价值的。我还想知道,除了效率之外,是否还有其他原因可以避免使用它。谢谢,这真的很有帮助。谢谢,这真的很有帮助。在这个特殊的例子中,我知道列表除了不可变的类型之外不会包含任何其他内容,但最好知道未来的情况。我仍然想知道是否有任何与效率无关的原因可以避免deepcopy。是否存在其行为令人惊讶的情况?可能没有人对此发表评论的原因是没有……而且。。有没有办法删除我上面的“额外”评论?Stackoverflow显然不允许我删除或编辑,因为我离开它超过了5分钟。不过还是很乱。