分别在并行进程中改变不同的python对象
简而言之 我想同时更改复杂的python对象，这样每个对象只由一个进程处理。我如何才能做到这一点（最有效）？实施某种酸洗支持会有帮助吗？那会有效率吗 全部问题 我有一个python数据结构分别在并行进程中改变不同的python对象,python,fork,shared-memory,pickle,python-multiprocessing,Python,Fork,Shared Memory,Pickle,Python Multiprocessing,简而言之 我想同时更改复杂的python对象，这样每个对象只由一个进程处理。我如何才能做到这一点（最有效）？实施某种酸洗支持会有帮助吗？那会有效率吗 全部问题 我有一个python数据结构ArrayDict，它基本上由一个numpy数组和一个字典组成，并将任意索引映射到数组中的行。在我的例子中，所有键都是整数 a = ArrayDict() a[1234] = 12.5 a[10] = 3 print(a[1234]) #12.5
ArrayDictnumpya = ArrayDict()
a[1234] = 12.5
a[10] = 3
print(a[1234]) #12.5
print(a[10]) # 3.0
print(a[1234] == a.array[a.indexDict[1234]]) #true
ArrayDictmyMethod（ArrayDict，params）myMethodmyMethodarrayDictArrayDictArrayDictmyMethodarrayDictnumpyarrayDictarrayDictnumpyfork（）ArrayDictArrayDictfrom sharedmem import sharedmem
import numpy as np
n = ... # length of the data array
myData = np.empty(n, dtype=object)
myData[:] = [ArrayDict() for _ in range(n)]
done = False
while not done:
consideredData = ... # numpy boolean array of length
# n with True at the index of
# considered data
args = ... # numpy array containing arguments
# for myMethod
with sharedmem.MapReduce() as pool:
results = pool.map(myMethod,
list(zip(myData[considered],
args[considered])),
star=True)
myData[considered] = results
done = ... # depends on what happens in
# myMethod
ArrayDictmyMethodmyData多处理.ArrayArrayDict我发现使用多处理“管理器”类和用户定义的代理类共享任意对象是可能的。这会有效率吗？我想利用这一点，我不需要并发访问对象，即使它们没有在主进程中处理。是否可以为我要处理的每个对象创建一个管理器？（我可能对管理者的工作方式仍有一些误解。）这似乎是一个相当复杂的类，我无法完全预测此解决方案是否适用于您的情况。对于这样一个复杂的类，一个简单的折衷方法是使用 如果这不能回答您的问题，那么最好用一个最小的、有效的示例
from concurrent.futures import ProcessPoolExecutor
import numpy as np
class ArrayDict ():
keys = None
vals = None
def __init__ (self):
self.keys = dict ()
self.vals = np.random.rand (1000)
def __str__ (self):
return "keys: " + str(self.keys) + ", vals: " + str(self.vals.mean())
def myMethod (ad, args):
print ("starting:", ad)
if __name__ == '__main__':
l = [ArrayDict() for _ in range (5)]
args = [2, 3, 4, 1, 3]
with ProcessPoolExecutor (max_workers = 2) as ex:
d = ex.map (myMethod, l, args)
ProcessPoolExecutor多处理ProcessPoolExecutorProcessPoolExecutorPoolProcessPoolExecutorProcessPoolExecutorArrayDictArrayProcessPoolExecutorArrayDictmyMethod如何在myMethod中修改或使用arrayDict？（我想你的意思是
myMethodmyFunc