Python 执行函数总共n次,在并行多处理中每次始终执行x次

Python 执行函数总共n次,在并行多处理中每次始终执行x次,python,multiprocessing,Python,Multiprocessing,虽然有很多关于多重处理的信息,但我无法找到解决问题的正确方法: 我有一个计算一些数据的函数,每次大约需要5秒。我需要运行这个函数2到100次。该函数可以独立运行,因此,如果一个调用需要20秒,而另一个调用只需要3秒,那么最终结果并不重要。这种情况非常适合多处理设置。但是,为100个函数调用并行启动100个进程对我来说没有意义 我要找的关键词是什么?排队、游泳池、经理? 我想根据一个系统拥有的核数,计算每次x个案例。一旦其中一个计算完成,CPU有了一个空闲的内核,它应该从列表中取出下一个案例,并再

虽然有很多关于多重处理的信息,但我无法找到解决问题的正确方法:

我有一个计算一些数据的函数,每次大约需要5秒。我需要运行这个函数2到100次。该函数可以独立运行,因此,如果一个调用需要20秒,而另一个调用只需要3秒,那么最终结果并不重要。这种情况非常适合多处理设置。但是,为100个函数调用并行启动100个进程对我来说没有意义

我要找的关键词是什么?排队、游泳池、经理? 我想根据一个系统拥有的核数,计算每次x个案例。一旦其中一个计算完成,CPU有了一个空闲的内核,它应该从列表中取出下一个案例,并再次击中晶体管。一旦所有这些都完成了,我想访问输出

提前谢谢

您可以使用该库。或者,如果要移出标准库并获得更多功能,请参见


此外,还要读取,因为它讨论了线程和进程之间的一些差异。具体来说,线程是一种性能黑客,除非你真的需要这种提升,否则让内核处理IPC和共享时间的细节更容易。

我怀疑你正在寻找一个线程数等于内核数的线程。谢谢你Spencer,你的链接当然是完美的,Aya在上面给了我正确的关键字。不幸的是,我一下子就遇到了所有可能的错误。下面是处理多重处理时可能考虑的两件事:剩下的很简单。