numpy python快速高效地将非零值提升到2d数组顶部
对不起,关于标题,我会寻找一个建议,如果有人有更好的描述。我想要一个函数(尽可能快),它获取非零条目,并用前一个数组的有序版本填充新数组。下面的例子可能更清楚: 输入数组numpy python快速高效地将非零值提升到2d数组顶部,python,arrays,numpy,Python,Arrays,Numpy,对不起,关于标题,我会寻找一个建议,如果有人有更好的描述。我想要一个函数(尽可能快),它获取非零条目,并用前一个数组的有序版本填充新数组。下面的例子可能更清楚: 输入数组 np.random.seed(2) a = np.random.randint(0,10,10) b = np.random.randint(0,10,10) c = np.random.randint(0,10,10) a = 0 * (a % 2) + (1-(a % 2))*a b = 0 * (b % 2) + (1-
np.random.seed(2)
a = np.random.randint(0,10,10)
b = np.random.randint(0,10,10)
c = np.random.randint(0,10,10)
a = 0 * (a % 2) + (1-(a % 2))*a
b = 0 * (b % 2) + (1-(b % 2))*b
c = 0 * (c % 2) + (1-(c % 2))*c
arr = np.array([a,b,c])
arr
>>> array([[8, 8, 6, 2, 8, 0, 2, 0, 0, 4],
[4, 0, 0, 0, 6, 4, 0, 0, 6, 0],
[0, 0, 8, 4, 6, 0, 0, 2, 0, 4]])
outArr = np.empty_like(arr)
outArr[0,:] = (arr[0,:] > 0) * arr[0,:] + ~(arr[0,:] > 0) * (arr[1,:] > 0) * arr[1,:] + ~(arr[0,:] > 0) * ~(arr[1,:] > 0) * arr[2,:]
outArr[1,:] = (arr[0,:] > 0) * arr[1,:] + (arr[0,:] > 0) * ~(arr[1,:] > 0) * arr[2,:]
outArr[2,:] = (arr[0,:] > 0) * (arr[1,:] > 0) * arr[2,:]
outArr
>>> array([[8, 8, 6, 2, 8, 4, 2, 2, 6, 4],
[4, 0, 8, 4, 6, 0, 0, 0, 0, 4],
[0, 0, 0, 0, 6, 0, 0, 0, 0, 0]])
输出阵列
np.random.seed(2)
a = np.random.randint(0,10,10)
b = np.random.randint(0,10,10)
c = np.random.randint(0,10,10)
a = 0 * (a % 2) + (1-(a % 2))*a
b = 0 * (b % 2) + (1-(b % 2))*b
c = 0 * (c % 2) + (1-(c % 2))*c
arr = np.array([a,b,c])
arr
>>> array([[8, 8, 6, 2, 8, 0, 2, 0, 0, 4],
[4, 0, 0, 0, 6, 4, 0, 0, 6, 0],
[0, 0, 8, 4, 6, 0, 0, 2, 0, 4]])
outArr = np.empty_like(arr)
outArr[0,:] = (arr[0,:] > 0) * arr[0,:] + ~(arr[0,:] > 0) * (arr[1,:] > 0) * arr[1,:] + ~(arr[0,:] > 0) * ~(arr[1,:] > 0) * arr[2,:]
outArr[1,:] = (arr[0,:] > 0) * arr[1,:] + (arr[0,:] > 0) * ~(arr[1,:] > 0) * arr[2,:]
outArr[2,:] = (arr[0,:] > 0) * (arr[1,:] > 0) * arr[2,:]
outArr
>>> array([[8, 8, 6, 2, 8, 4, 2, 2, 6, 4],
[4, 0, 8, 4, 6, 0, 0, 0, 0, 4],
[0, 0, 0, 0, 6, 0, 0, 0, 0, 0]])
我将这个数组硬编码为3行,这样我就可以手动输入函数,实际上这可能是更多的行(以十为单位,没有什么太疯狂的)
编辑:
我实际上想要使用的尺寸是5行乘以100-150k列
数据类型将始终为整数
最后,更新过程是在底部添加一个新行,向上对齐,然后删除所有只有0(空值)的尾随行
受此启发,这里有一个针对向上对齐
和排序可能减慢速度的情况进行了微调,因此可以建议使用广播掩码创建
的替代方法-
def justify_up(a, invalid_val=0, use_sort=True):
if invalid_val is np.nan:
mask = ~np.isnan(a)
else:
mask = a!=invalid_val
if use_sort==1:
justified_mask = np.sort(mask,axis=0)[::-1]
else:
justified_mask = (mask.sum(0) > np.arange(a.shape[0])[:,None])
if invalid_val is 0:
out = np.zeros_like(a)
elif invalid_val is 1:
out = np.ones_like(a)
else:
out = np.full(a.shape, invalid_val)
out.T[justified_mask.T] = a.T[mask.T]
return out
样本运行-
In [199]: arr
Out[199]:
array([[8, 8, 6, 2, 8, 0, 2, 0, 0, 4],
[4, 0, 0, 0, 6, 4, 0, 0, 6, 0],
[0, 0, 8, 4, 6, 0, 0, 2, 0, 4]])
In [200]: justify_up(arr, invalid_val=0)
Out[200]:
array([[8, 8, 6, 2, 8, 4, 2, 2, 6, 4],
[4, 0, 8, 4, 6, 0, 0, 0, 0, 4],
[0, 0, 0, 0, 6, 0, 0, 0, 0, 0]])
方法#2
我们还可以将使用循环的工作卸载到numba
,以实现原位编辑的性能-
from numba import njit
@njit
def justify_up_numba(a, invalid_val=0):
# invalid_val : Any number but NaN
m,n = a.shape
for j in range(m-1):
for i in range(0,m-j-1):
for k in range(n):
if a[i,k]==invalid_val:
a[i,k] = a[i+1,k]
a[i+1,k] = invalid_val
return a
大阵列上的定时-
In [361]: np.random.seed(0)
...: arr = np.random.randint(0,5,(10,100000))
In [362]: %timeit justify_up(arr, invalid_val=0, use_sort=False)
100 loops, best of 3: 10.9 ms per loop
In [363]: %timeit justify_up(arr, invalid_val=0, use_sort=True)
100 loops, best of 3: 15.9 ms per loop
In [364]: %timeit justify_up_numba(arr, invalid_val=0)
100 loops, best of 3: 2.38 ms per loop
你能把实际输入的信息添加到问题中吗?考虑到特定的形状,可能会有更好的方法。@Divakar补充了信息,请让我知道这是否足够。如果您破坏了这些运行时,我将不得不阅读更多有关numba的信息。非常感谢!