Python 读/写NumPy结构化阵列速度非常慢，线性大小缓慢

令我惊讶的是，我发现从NumPy结构化数组读取和写入数据在数组的大小上似乎是线性的

因为这似乎是非常错误的，我想知道，如果我在这里做错了什么，或者是否有一个错误

下面是一些示例代码：

def test():
    A = np.zeros(1, dtype=[('a', np.int16), ('b', np.int16, (1,100))])
    B = np.zeros(1, dtype=[('a', np.int16), ('b', np.int16, (1,10000))])

    C = [{'a':0, 'b':[0 for i in xrange(100)]}]
    D = [{'a':0, 'b':[0 for i in xrange(10000)]}]

    for i in range(100):
        A[0]['a'] = 1
        B[0]['a'] = 1

        B['a'][0] = 1 
        x = A[0]['a']
        x = B[0]['a']

        C[0]['a'] = 1
        D[0]['a'] = 1

测线分析给出以下结果：

Total time: 5.28901 s,    Timer unit: 1e-06 s
Function: test at line 454


Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
   454                                           @profile
   455                                           def test():
   456                                              
   457         1           10     10.0      0.0     A = np.zeros(1, dtype=[('a', np.int16), ('b', np.int16, (1,100))])
   458         1           13     13.0      0.0     B = np.zeros(1, dtype=[('a', np.int16), ('b', np.int16, (1,10000))])
   459                                           
   460       101           39      0.4      0.0     C = [{'a':0, 'b':[0 for i in xrange(100)]}]
   461     10001         3496      0.3      0.1     D = [{'a':0, 'b':[0 for i in xrange(10000)]}]
   462                                           
   463       101           54      0.5      0.0     for i in range(100):
   464       100        20739    207.4      0.4         A[0]['a'] = 1
   465       100      1741699  17417.0     32.9         B[0]['a'] = 1
   466                                                  
   467       100      1742374  17423.7     32.9         B['a'][0] = 1 
   468       100        20750    207.5      0.4         x = A[0]['a']
   469       100      1759634  17596.3     33.3         x = B[0]['a']
   470                                           
   471       100          123      1.2      0.0         C[0]['a'] = 1
   472       100           76      0.8      0.0         D[0]['a'] = 1

如您所见，我甚至不访问更大的阵列（尽管10.000的大小实际上非常小……）。顺便说一句：shape=（10000,1）的行为与（110000）的行为相同

有什么想法吗

将结构化数组解释为DICT列表，与内置函数相比，存在与大小无关的预期计算成本（参见C和D）

---

努比河。1.10.1.

在

ipython中
timeit
我得到的
A
和
B
的时间基本相同

In [30]: timeit A[0]['a']=1
1000000 loops, best of 3: 1.9 µs per loop

In [31]: timeit B[0]['a']=1
1000000 loops, best of 3: 1.87 µs per loop

In [32]: timeit B['a'][0]=1
1000000 loops, best of 3: 554 ns per loop

In [33]: timeit x=A[0]['a']
1000000 loops, best of 3: 1.74 µs per loop

In [34]: timeit x=B[0]['a']
1000000 loops, best of 3: 1.73 µs per loop

即使我用100条记录创建
B
，时间也不会改变

In [39]: timeit B['a']=1   # set 100 values at once
1000000 loops, best of 3: 1.08 µs per loop

In [40]: timeit B['a'][10]=1
1000000 loops, best of 3: 540 ns per loop

In [41]: B.shape   # 2Mb size
Out[41]: (100,)

即使设置“b”字段的10000个值也不昂贵

In [46]: B['b'].shape
Out[46]: (100, 1, 10000)

In [47]: B['b'][:,:,:100]=1

In [48]: timeit B['b'][:,:,:100]=1
100000 loops, best of 3: 10.7 µs per loop

In [49]: B['b'].sum()
Out[49]: 10000

In [50]: np.__version__
Out[50]: '1.11.0'

这是一个在NumPy 1.10.1上使用结构化阵列的示例。问题日志中的对话似乎表明它在所有最新的NumPy版本上都得到了修复，包括1.10.2和1.11.0

更新NumPy应该可以解决问题。
我无法在1.8.1上重现您的结果。可能是后来引入的错误，或者他们更改了语义或其他内容。@user2357112根据您的回答，我更新为NumPy 1.11.0并再次检查。现在一切都像一个符咒。所以可能有一个bug。如果你把答案贴出来，我可以把它标为正确的。谢谢