并行化python代码中的内存共享
我是一名大学新生和Python新手，所以请容忍我。我正在尝试将一些矩阵运算并行化。下面是我使用ParallelPython模块的尝试：并行化python代码中的内存共享,python,matrix,parallel-processing,pass-by-reference,shared-memory,Python,Matrix,Parallel Processing,Pass By Reference,Shared Memory,我是一名大学新生和Python新手，所以请容忍我。我正在尝试将一些矩阵运算并行化。下面是我使用ParallelPython模块的尝试： def testfunc(connectionMatrix, qCount, iCount, Htry, tStepCount): test = connectionMatrix[0:qCount,0:iCount].dot(Htry[tStepCount-1, 0:iCount]) return test f1
def testfunc(connectionMatrix, qCount, iCount, Htry, tStepCount):
test = connectionMatrix[0:qCount,0:iCount].dot(Htry[tStepCount-1, 0:iCount])
return test
f1 = job_server.submit(testfunc, (self.connectionMatrix, self.qCount, self.iCount, self.iHtry, self.tStepCount), modules = ("scipy.sparse",))
f2 = job_server.submit(testfunc, (self.connectionMatrix, self.qCount, self.iCount, self.didtHtry, self.tStepCount), modules = ("scipy.sparse",))
r1 = f1()
r2 = f2()
self.qHtry[self.tStepCount, 0:self.qCount] = self.qHtry[self.tStepCount-1, 0:self.qCount] + self.delT * r1 + 0.5 * (self.delT**2) * r2
谢谢。好吧，ParallelPython的要点是，您可以编写代码，而不管它是否分布在线程、进程甚至多台计算机上，而使用内存共享将打破这种抽象 一种选择是使用类似于共享文件系统上的文件的东西，在共享文件系统中，您可以在每个worker中映射该文件。当然，这更复杂，好坏取决于文件系统、共享协议和网络的许多细节，但这是一种选择 如果您愿意放弃分布式处理选项，可以使用multiprocessing.Array（或multiprocessing.Value或multiprocessing.sharedTypes）访问共享内存。但是在这一点上，您可能想考虑只使用多处理而不是并行Python来进行作业分配，因为多重处理是标准库的一部分，并且具有更强大的API，并且您明确地放弃了并行Python的一个主要优点。 或者，您可以将这两个选项结合起来，在许多方面都是最糟糕的，但就您对现有代码的更改而言，可能是最好的：只需使用一个本地文件并对其进行mmap
但是，在你做这些之前，你可能想考虑剖析，看看复制矩阵是否真的是瓶颈。如果是的话，你可能想考虑是否有算法修复，只是复制每个工作所需的部分而不是复制整个矩阵。（当然，这是否有意义取决于每个作业所需的部分是否明显少于整个作业。）
好的，ParallelPython的要点是，您可以编写代码，而不管它是否分布在线程、进程甚至多台计算机上，使用内存共享将打破这种抽象 一种选择是使用类似于共享文件系统上的文件的东西，在共享文件系统中，您可以在每个worker中映射该文件。当然，这更复杂，好坏取决于文件系统、共享协议和网络的许多细节，但这是一种选择 如果您愿意放弃分布式处理选项，可以使用multiprocessing.Array（或multiprocessing.Value或multiprocessing.sharedTypes）访问共享内存。但是在这一点上，您可能想考虑只使用多处理而不是并行Python来进行作业分配，因为多重处理是标准库的一部分，并且具有更强大的API，并且您明确地放弃了并行Python的一个主要优点。 或者，您可以将这两个选项结合起来，在许多方面都是最糟糕的，但就您对现有代码的更改而言，可能是最好的：只需使用一个本地文件并对其进行mmap但是，在你做这些之前，你可能想考虑剖析，看看复制矩阵是否真的是瓶颈。如果是的话，你可能想考虑是否有算法修复，只是复制每个工作所需的部分而不是复制整个矩阵。（当然，这是否有意义取决于每个作业所需的部分是否明显少于整个作业。）
老实说，我不完全确定复制是否是减速，但在分析时，{method'acquire'of'thread.lock'objects}{cPickle.dumps}