Python中的基准测试：为什么我的代码在重复时运行较慢？

我有一个简单的实现，如下所示：

# Generate all primes less than k
def sieve(k):
    s = [True] * k
    s[0] = s[1] = False
    for i in range(4, k, 2):
        s[i] = False

    for i in range(3, int(sqrt(k)) + 2, 2):
        if s[i]:            
            for j in range(i ** 2, k, i * 2):
                s[j] = False

    return [2] + [ i for i in range(3, k, 2) if s[i] ]

我通过反复生成10M以下的素数来对该代码进行基准测试：

st = time()
for x in range(1000):
    rt = time()
    sieve(10000000)
    print "%3d %.2f %.2f" % (x, time() - rt, (time() - st) / (x + 1))

我感到困惑，因为每次测试运行所花费的时间明显增加：

run   t  avg
  0 1.49 1.49
  1 1.79 1.66
  2 2.23 1.85
  3 2.72 2.07
  4 2.67 2.20
  5 2.87 2.31
  6 3.05 2.42
  7 3.57 2.56
  8 3.38 2.65
  9 3.48 2.74
 10 3.81 2.84
 11 3.75 2.92
 12 3.85 2.99
 13 4.14 3.07
 14 4.02 3.14
 15 4.05 3.20
 16 4.48 3.28
 17 4.41 3.34
 18 4.19 3.39
 19 4.22 3.43
 20 4.65 3.49

但是，将

range

的每个实例更改为

xrange

可以消除以下问题：

run   t  avg
  0 1.26 1.26
  1 1.23 1.28
  2 1.24 1.27
  3 1.25 1.26
  4 1.23 1.26
  5 1.23 1.25
  6 1.25 1.25
  7 1.25 1.25
  8 1.23 1.25
  9 1.25 1.25
 10 1.24 1.25

为什么会这样？这真的都是GC开销吗？20次跑步后减速3倍似乎很多…

这还不是答案，只是一系列有组织的实验

这真是太迷人了。Python的内存分配器似乎存在一些非常可疑的问题

下面是我减少测试用例的尝试：

def sieve(k):
    s = [True] * k

    for i in xrange(3, int(sqrt(k)) + 2, 2):
        for j in range(i ** 2, k, i * 2):
            s[j] = False

    return [ i for i in range(3, k, 2) if s[i] ]

st = time()
for x in range(1000):
    rt = time()
    sieve(10000000)
    print "%3d %.2f %.2f" % (x, time() - rt, (time() - st) / (x + 1))

请注意，如果我删除

if s[I]

，将内部

range

设置为

xrange

，将返回值设置为生成器，或在内部

for

循环中设置

pass

（或将其设置为

s[j]=True

），则行为将消失，时间将保持不变

Python的内存使用随着函数的运行而稳步增加，最终达到一个稳定期（此时运行时间也开始稳定，大约为初始值的250%）

我的假设是，大量的内部

范围

s（大小不断减小），加上最后的数组，会导致某种最坏情况下的堆碎片，使得很难继续分配对象

---

我的建议是制作一个简化的测试用例，并将其作为一个bug提交给Python开发人员（bugs.Python.org）。

p.s.是一种更简单的计时代码的方法。不仅仅是垃圾收集，内存分配，还可以使所有这些范围。在不需要列表的情况下使用

range

是浪费。这就是为什么Python3的

range

与Python2的

xrange

类似。然后，如果您确实需要一个列表，您可以编写

list（range（n））

。每次运行后运行

gc.collect

是否有帮助？您可以分析它，或者如果您认为它是gc，请禁用并重新运行它。@nneno是的，它有。在循环中调用

collect（）。为什么呢？