python,使用multiprocess.Pool生成几个子进程调用

python,使用multiprocess.Pool生成几个子进程调用,python,subprocess,multiprocessing,Python,Subprocess,Multiprocessing,我已经搜索了几个相关的帖子,但没有一篇明确回答我的问题。我正在尝试创建一个类,该类将使用多处理将作业分发到机器。“作业”是使用子流程的系统调用,我不希望脚本在生成作业后保持与作业的连接。我已经使用Process类完成了所有工作,但是我想尝试Pool类,我遇到了一些问题 我的代码在这里: 相关的方法是run_queue方法。您可以在Test_pool类中看到,我覆盖了Runner类的run_queue方法。但是,当我运行此命令时,会出现一个错误: PicklingError:无法pickle:属

我已经搜索了几个相关的帖子,但没有一篇明确回答我的问题。我正在尝试创建一个类,该类将使用多处理将作业分发到机器。“作业”是使用子流程的系统调用,我不希望脚本在生成作业后保持与作业的连接。我已经使用Process类完成了所有工作,但是我想尝试Pool类,我遇到了一些问题

我的代码在这里:

相关的方法是run_queue方法。您可以在Test_pool类中看到,我覆盖了Runner类的run_queue方法。但是,当我运行此命令时,会出现一个错误: PicklingError:无法pickle:属性查找内置。instancemethod失败


我的目标是能够定义一个应保持忙碌的MAX_NUM_CORES,并持续提交作业,只要分发的作业使用的核数不超过定义的最大核数,例如MAX_NUM_CORES。也许我没有使用正确的设计模式?欢迎您提出建议。

可能重复的功能需要定义一个模块级功能,该功能可以导入以处理某些功能。这是多处理模块的要求。谢谢。这似乎有效,但我意识到这也不是我所需要的。我将返回到Process类,并利用is_alive跟踪生成和运行的子进程数量。