Python pathos.multiprocessing ProcessingPool。为什么池交换信息？
简介 我有大量数据，需要进行具体计算。不幸的是，如果我一个接一个地进行计算，整个过程将花费一天的时间。这就是为什么我在一台有32个CPU的机器上使用paths.multiprocessing ProcessingPool。这样，整个过程大约需要30分钟 问题 预期的行为是所有计算并行运行，并且彼此完全独立。我注意到，对于少量计算（例如40），这是正确的，但如果我将数字增加到90，数据会混合。这些过程似乎是相互“交流”的……换句话说，它们可以访问相同的变量 问题 知道发生了什么吗 有用链接： 代码 下面的代码是我机器上的简化版本，但想法是一样的。下面是代码：Python pathos.multiprocessing ProcessingPool。为什么池交换信息？,python,multiprocessing,pathos,Python,Multiprocessing,Pathos,简介 我有大量数据，需要进行具体计算。不幸的是，如果我一个接一个地进行计算，整个过程将花费一天的时间。这就是为什么我在一台有32个CPU的机器上使用paths.multiprocessing ProcessingPool。这样，整个过程大约需要30分钟 问题 预期的行为是所有计算并行运行，并且彼此完全独立。我注意到，对于少量计算（例如40），这是正确的，但如果我将数字增加到90，数据会混合。这些过程似乎是相互“交流”的……换句话说，它们可以访问相同的变量 问题 知道发生了什么吗 有用链接： 代码
from pathos.multiprocessing import ProcessingPool, cpu_count
class TestMultiprocessing:
def __init__(self):
self.number = 0
def do_something(self, args):
for arg in args:
self.number += arg
return self.number
def run(self):
# Generate a big list
l = []
for i in range(0, 100):
l.append([1,2,3])
pool = ProcessingPool(cpu_count())
results = pool.imap(self.do_something, l)
pool.close()
pool.join()
pool.clear()
results = list(results)
for result in results:
print(result)
tm = TestMultiprocessing()
tm.run()
import numpy as np
import math
# Get the number of CPUs
cpus = cpu_count()
# Check how many groups of tasks we have to run
chunks = math.ceil(len(l)/cpus)
# Break down the list of tasks to chunks/groups
l_chunks = np.array_split(l, chunks)
# Loop the chunks
for l_chunk in l_chunks:
pool = ProcessingPool(cpus)
results = pool.imap(self.do_something, l_chunk.tolist())
pool.close()
pool.join()
pool.clear()
results = list(results)
for result in results:
print(result)
这就解决了我的问题。好吧，你是在多进程分叉之前初始化类来使用共享状态的……你说进程是通信的。展示你为什么这么想。换句话说，做一个适当的（顺便问一下，你需要
pathosmultiprocessing