Python 对任意数量数组的所有可能组合求和并应用限制
我试图生成一个由任意数量数组的所有组合组成的数组。从生成的数组中,我想添加一个约束,即数字之和必须位于两个界限之间(比如“下限”和“上限”) 实现这一点的一种方法是使用、求和元素,并选择在上下限范围内的元素。但是,主要的限制是,如果有大量的输入数组,可能会耗尽内存。另一种方法是使用itertools.product:Python 对任意数量数组的所有可能组合求和并应用限制,python,arrays,numpy,combinations,itertools,Python,Arrays,Numpy,Combinations,Itertools,我试图生成一个由任意数量数组的所有组合组成的数组。从生成的数组中,我想添加一个约束,即数字之和必须位于两个界限之间(比如“下限”和“上限”) 实现这一点的一种方法是使用、求和元素,并选择在上下限范围内的元素。但是,主要的限制是,如果有大量的输入数组,可能会耗尽内存。另一种方法是使用itertools.product: import itertools import numpy as np def arraysums(arrays,lower,upper): p = itertools.
import itertools
import numpy as np
def arraysums(arrays,lower,upper):
p = itertools.product(*arrays)
r = list()
for n in p:
s = sum(n)
if lower <= s <= upper:
r.append(n)
return r
N = 8
a = np.arange(N)
b = np.arange(N)-N/2
arraysums((a,b),lower=5,upper=6)
此方法节省内存,但如果阵列较大,则速度可能非常慢,例如此示例在10分钟内运行:
a = np.arange(32.)
arraysums(6*(a,),lower=10,upper=20)
我正在寻找一种更快的方法。这里是一种利用-
可以使用递归。例如,如果已从第一个数组中选择了
item
,则其余数组的新下限和上限应为loweritem
和upper item
这里的主要优点是可以在每个阶段缩短元组的枚举。考虑所有的值都是正的情况。那我们就可以
自动抛出其他数组中大于的任何值
上部项目
。这将智能地减少每个位置的搜索空间大小
递归的级别
import itertools
def arraysums_recursive_all_positive(arrays, lower, upper):
# Assumes all values in arrays are positive
if len(arrays) <= 1:
result = [(item,) for item in arrays[0] if lower <= item <= upper]
else:
result = []
for item in arrays[0]:
subarrays = [[item2 for item2 in arr if item2 <= upper-item]
for arr in arrays[1:]]
if min(len(arr) for arr in subarrays) == 0:
continue
result.extend(
[(item,)+tup for tup in arraysums_recursive_all_positive(
subarrays, lower-item, upper-item)])
return result
def arraysums(arrays,lower,upper):
p = itertools.product(*arrays)
r = list()
for n in p:
s = sum(n)
if lower <= s <= upper:
r.append(n)
return r
a = list(range(32))
在一般情况下,当
数组中的值可能为负值时,我们可以向数组中的每个值添加适当的值,以确保新数组中的所有值都为正值。我们还可以调整下限
和上限
来解释值的变化。因此,我们可以将一般问题简化为具有所有正值的数组的特殊情况:
def arraysums_recursive(arrays, lower, upper):
minval = min(item for arr in arrays for item in arr)
# Subtract minval from arrays to guarantee all the values are positive
arrays = [[item-minval for item in arr] for arr in arrays]
# Adjust the lower and upper bounds accordingly
lower -= minval*len(arrays)
upper -= minval*len(arrays)
result = arraysums_recursive_all_positive(arrays, lower, upper)
# Readjust the result by adding back minval
result = [tuple([item+minval for item in tup]) for tup in result]
return result
请注意,arraysums\u recursive
正确处理负值,而
arraysums\u recursive\u all\u positive
不:
In [312]: arraysums_recursive([[10,30],[20,40],[-35,-40]],lower=10,upper=20)
Out[312]: [(10, 40, -35), (10, 40, -40), (30, 20, -35), (30, 20, -40)]
In [311]: arraysums_recursive_all_positive([[10,30],[20,40],[-35,-40]],lower=10,upper=20)
Out[311]: []
虽然arraysums\u recursive
比arraysums\u recursive\u all\u positive
慢
In [37]: %time arraysums_recursive(6*(a,),lower=10,upper=20)
CPU times: user 1.03 s, sys: 0 ns, total: 1.03 s
Wall time: 852 ms
它仍然比arraysums快290倍
这是速度上的一大进步!我还试图返回索引。
In [227]: %time arraysums_recursive_all_positive(6*(a,),lower=10,upper=20)
CPU times: user 360 ms, sys: 8.01 ms, total: 368 ms
Wall time: 367 ms
In [73]: %time arraysums(6*(a,),lower=10,upper=20)
CPU times: user 4min 8s, sys: 0 ns, total: 4min 8s
Wall time: 4min 8s
def arraysums_recursive(arrays, lower, upper):
minval = min(item for arr in arrays for item in arr)
# Subtract minval from arrays to guarantee all the values are positive
arrays = [[item-minval for item in arr] for arr in arrays]
# Adjust the lower and upper bounds accordingly
lower -= minval*len(arrays)
upper -= minval*len(arrays)
result = arraysums_recursive_all_positive(arrays, lower, upper)
# Readjust the result by adding back minval
result = [tuple([item+minval for item in tup]) for tup in result]
return result
In [312]: arraysums_recursive([[10,30],[20,40],[-35,-40]],lower=10,upper=20)
Out[312]: [(10, 40, -35), (10, 40, -40), (30, 20, -35), (30, 20, -40)]
In [311]: arraysums_recursive_all_positive([[10,30],[20,40],[-35,-40]],lower=10,upper=20)
Out[311]: []
In [37]: %time arraysums_recursive(6*(a,),lower=10,upper=20)
CPU times: user 1.03 s, sys: 0 ns, total: 1.03 s
Wall time: 852 ms