多处理vs运行多个Python解释器

多处理vs运行多个Python解释器,python,multiprocessing,Python,Multiprocessing,对于长时间运行、令人尴尬的并行任务,使用多处理与并行运行多个python解释器相比有什么好处吗 目前,我正在启动几个python解释器,这些解释器在输入数据片上运行分析,每个解释器都将结果转储到一个单独的pickle文件中。对输入数据进行切片以及合并结果是很简单的。为此,我在OSX和linux上使用Python3.4 用多处理模块重写代码值得吗?在我看来不是,但我远不是专家…好吧,多处理的一个优点是有用于进程间通信的工具,您可以使用具有不同限制的共享变量。但如果你不需要,你的方法是完全可行的。您

对于长时间运行、令人尴尬的并行任务,使用多处理与并行运行多个python解释器相比有什么好处吗

目前,我正在启动几个python解释器,这些解释器在输入数据片上运行分析,每个解释器都将结果转储到一个单独的pickle文件中。对输入数据进行切片以及合并结果是很简单的。为此,我在OSX和linux上使用Python3.4


用多处理模块重写代码值得吗?在我看来不是,但我远不是专家…

好吧,多处理的一个优点是有用于进程间通信的工具,您可以使用具有不同限制的共享变量。但如果你不需要,你的方法是完全可行的。您所做的基本上就是大多数map reduce系统所自动化的。我确信在运行整个其他解释器时会有一些轻微的性能损失,但这可能无关紧要

使用单独的进程有几个好处,但也(稍微)有一些好处,比如开销。使用单独的进程:如果一个进程崩溃。。好。。那一个只是崩溃了,其他的也不一样。