python deepcopy是比自定义代码更高效,还是效率/可预测性更低?

python deepcopy是比自定义代码更高效,还是效率/可预测性更低?,python,Python,我有一个dict,其中的值是非嵌套列表(具体来说,键是int,值是int的列表)。我想做一份深度拷贝,这样我就不会修改原始目录中的列表 我知道我可以用 copied = copy.deepcopy(original) 然而,由于我知道数据结构的形式,我也可以使用 copied = {key:valuelist[:] for (key,valuelist) in original.iteritems()} 其中一个解决方案更好吗?更有效率?不太可能导致令人不快的意外 有人告诉我,deepcop

我有一个dict,其中的值是非嵌套列表(具体来说,键是int,值是int的列表)。我想做一份深度拷贝,这样我就不会修改原始目录中的列表

我知道我可以用

copied = copy.deepcopy(original)
然而,由于我知道数据结构的形式,我也可以使用

copied = {key:valuelist[:] for (key,valuelist) in original.iteritems()}
其中一个解决方案更好吗?更有效率?不太可能导致令人不快的意外


有人告诉我,deepcopy()有一些陷阱,但我真的不明白是什么。我还想了解使用deepcopy()是比我的代码效率低(可能是因为它是一个更通用的解决方案?)还是更高效(可能是在较低的级别上进行了优化?)

我的建议是现在使用
deepcopy
,如果它太慢,你可以用自定义函数替换它


如果您的dict真的很大,它可能会变慢,但只要您不使用真正大的数据,我就不会太担心了。

我使用了下面的代码,并得到了一些结果

import copy
import time

def go(loop):
    original = {x: [y for y in range(x)] for x in xrange(100)}
    print loop

    start = time.time()
    for x in xrange(loop):
        copied = copy.deepcopy(original)
    print 'deepcopy %ss' % (time.time() - start)

    start = time.time()
    for x in xrange(loop):
        copied = {k: v[:] for (k,v) in original.iteritems()}
    print 'custome  %ss' % (time.time() - start)

    print ''

for x in (100, 1000, 10000):
    go(x)


result

100
deepcopy 0.47200012207s
custome  0.00699996948242s

1000
deepcopy 4.69200015068s
custome  0.0620000362396s

10000
deepcopy 47.7449998856s
custome  0.677999973297s

显然,
copy.deepcopy
更糟糕。我认为它比定制方法处理的要多得多,
copy.deepcopy
比第二个解决方案慢得多:

$ python -m timeit "original = {x: range(10) for x in xrange(10)}; copy = {x: v[:] for x,v in original.iteritems()}"
100000 loops, best of 3: 5.41 usec per loop

$ python -m timeit "original = {x: range(1000) for x in xrange(1000)}; copy = {x: v[:] for x,v in original.iteritems()}"
100 loops, best of 3: 17.1 msec per loop

$ python -m timeit "import copy; original = {x: range(10) for x in xrange(10)}; c = copy.deepcopy(original)"
10000 loops, best of 3: 86.4 usec per loop

$ python -m timeit "import copy; original = {x: range(1000) for x in xrange(1000)}; c = copy.deepcopy(original)"
10 loops, best of 3: 1.4 sec per loop
deepcopy
比dict comprehension+list copy慢得多的原因是:

  • deepcopy
    是一种多用途功能-它适用于大多数任何类型的对象
  • deepcopy
    是用python实现的,而dict理解和列表切片是在较低的级别上完成的
最重要的是

  • deepcopy
    递归地复制容器中的元素,而您的dict理解不会
例如:

>>> import copy
>>> obj = object()
>>> original = {x: [obj] * 10 for x in xrange(10)}
>>> copy1 = {x:v[:] for x,v in original.iteritems()}
>>> copy2 = copy.deepcopy(original)
>>> copy1[0][0] is original[0][0]
True
>>> copy2[0][0] is original[0][0]
False

如您所见,
deepcopy
复制了
original
中包含的
obj
,以便
copy2
列表包含它的副本,而不是
obj
本身。与dict理解不同,dict理解在创建新的列表对象的同时保留列表中的元素。

您是否尝试过这两种解决方案以查看哪一种更快?老实说,我甚至不确定python代码计时的好方法。我知道伊皮顿的时间命令。使用它让我觉得deepcopy对于我的特定案例来说要慢得多(如果我测试正确的话)——但这是否意味着对于类似的案例来说要慢得多?一个基于理解为什么它应该更慢的答案对我来说仍然是有价值的。我还想知道,除了效率之外,是否还有其他原因可以避免使用它。谢谢,这真的很有帮助。谢谢,这真的很有帮助。在这个特殊的例子中,我知道列表除了不可变的类型之外不会包含任何其他内容,但最好知道未来的情况。我仍然想知道是否有任何与效率无关的原因可以避免deepcopy。是否存在其行为令人惊讶的情况?可能没有人对此发表评论的原因是没有……而且。。有没有办法删除我上面的“额外”评论?Stackoverflow显然不允许我删除或编辑,因为我离开它超过了5分钟。不过还是很乱。