在多台机器上运行进程(主要是python)

在多台机器上运行进程(主要是python),python,multithreading,parallel-processing,job-scheduling,Python,Multithreading,Parallel Processing,Job Scheduling,我希望能够在通过本地网络连接的不同机器上运行多个通常较长的进程。 进程通常是python脚本 换句话说,假设我有100个进程和5台机器,我不想在每台机器上同时运行超过10个进程。 我的“组织者脚本”将在每台机器上启动10个进程,然后在第一个进程结束时发送下一个进程 在python中有什么方法可以做到这一点吗? 任何建议都将不胜感激 谢谢大家! 除了“组织者脚本”之外,您还需要在其他每台机器上安装一些程序/脚本,用于在网络上侦听来自“组织者脚本”的命令,启动“工作者”,并在“工作者”完成后报告 但

我希望能够在通过本地网络连接的不同机器上运行多个通常较长的进程。 进程通常是python脚本

换句话说,假设我有100个进程和5台机器,我不想在每台机器上同时运行超过10个进程。 我的“组织者脚本”将在每台机器上启动10个进程,然后在第一个进程结束时发送下一个进程

在python中有什么方法可以做到这一点吗? 任何建议都将不胜感激

谢谢大家!

除了“组织者脚本”之外,您还需要在其他每台机器上安装一些程序/脚本,用于在网络上侦听来自“组织者脚本”的命令,启动“工作者”,并在“工作者”完成后报告


但是,对于您的任务,存在现有的解决方案。在开始编码之前,仔细看看四周。

听起来您需要Spark:)使用Erlang=)。顺便说一句,在许多线程上分发Python线程程序是不容易的。您需要一些队列处理系统。您可以在其他机器上使用twisted和“workers”编写组织者脚本,这些机器将收到组织者启动新进程的命令,这些workers还将拥有“从属”机器上正在运行的进程的相关信息,请向所有人询问,以便及时回复!那么这些现有的解决方案呢?你能提几个吗?对不起,我现在手头没有东西。但这项任务并不罕见。