Python 并行计算

我有一个二维表格（矩阵） 我需要独立处理矩阵中的每一行。 每条生产线的流程都很耗时。 我想在我们大学使用并行计算资源（加拿大网格）

我能就如何开始提供一些建议吗？我以前从未使用过并行计算

谢谢：）

从这里开始：

请务必阅读以下内容：

这可能会有帮助：

虽然它非常优秀，但它包括线程和多处理，尽管多处理通常远比尝试多线程要好得多

对于网格计算，多线程在很大程度上是无用的

---

此外，你可能还想好好读一读。

就像评论员所说的，在你的大学里找个人谈谈。您的问题的答案将特定于网格上安装的软件。如果你可以访问网格，很可能你也可以访问一个人，他的工作就是回答你的问题（他们会很乐意帮助你）——找到这个人

我是一个名为

它正是为了这个目的而构建的（网格或超级计算，科学计算）。我建议你试试看

在您的情况下，您只需拨打如下电话：

futures.map(YourFunc, matrixLine)

---

然后，它将分布在您的网格或您选择的任何环境中。

根据您的描述，我会说：首先看一下。 Numpy提供了以向量化方式计算列和行的方法，几乎以

C

的速度。根据您的问题，这可能比使用纯

CPython

的并行计算更快

您可以通过使用

numpy

-阵列的并行计算来获得真正的高速。

---

实现这一点的可能方法是使用

多处理

或在集群上。

也许可以与您的讲师/助教/教授谈谈……对于python，您想看看

多处理

库，或者

线程

就足够了，如果所有繁重的工作都是在C代码中完成的。这里的任何人都不能帮助你们和你们大学的计算机资源交互，除非你们碰巧从你们的大学里找到其他人！仅供参考。。。对Wim关于线程的注释的澄清：“…如果所有繁重的工作都是用C…”他（她？）说，因为python的全局解释器锁不允许多个线程同时运行。他们只走了一步。您可以通过在C中进行工作（当代码传输到C时解释器锁被释放），或者通过使用他提到的多处理模块来解决这个问题，因为每个线程都在一个单独的进程中运行。不过，这两种方法都有很高的开销，所以如果你真的想提高性能，可以看看C或Java线程下的posix线程。我看不到任何地方可以在你的网页上添加对独家新闻的反馈，所以这里只是一个简短的说明。Scoop针对Windows7的安装过程可能需要一些注意。我无法让它工作。请随时与我联系以获取更多详细信息。请随时在上报告任何问题以获得更快的答案。请注意，《独家新闻》仍处于测试阶段，但我们欢迎任何有助于改进的反馈。我们将很快研究这一问题。哇，很高兴看到独家新闻的诞生：p我爱它！