Python 在web服务器上创建大量并行SSH连接的脚本,哪种方法更好?

Python 在web服务器上创建大量并行SSH连接的脚本,哪种方法更好?,python,linux,bash,ssh,parallel-processing,Python,Linux,Bash,Ssh,Parallel Processing,我正在用Python编写一个脚本,它建立了100多个并行SSH连接,在每台机器上启动一个脚本(输出为10-50行),然后等待bash脚本的结果并对其进行处理。但是,它是在web服务器上运行的,我不知道是否最好先将输出存储在远程机器上的文件中(这样,我想,我可以一次启动更多远程脚本),然后建立另一个SSH连接(1个命令/1个连接)并从这些文件中读取?现在我正在读取输出,但是CPU使用率非常高,我想问题是,大量数据一次到达服务器。为了创建大量并行SSH连接,已经有一个名为pssh的工具。你应该用它来

我正在用Python编写一个脚本,它建立了100多个并行SSH连接,在每台机器上启动一个脚本(输出为10-50行),然后等待bash脚本的结果并对其进行处理。但是,它是在web服务器上运行的,我不知道是否最好先将输出存储在远程机器上的文件中(这样,我想,我可以一次启动更多远程脚本),然后建立另一个SSH连接(1个命令/1个连接)并从这些文件中读取?现在我正在读取输出,但是CPU使用率非常高,我想问题是,大量数据一次到达服务器。

为了创建大量并行SSH连接,已经有一个名为pssh的工具。你应该用它来代替。
但是,如果我们真的在谈论100台或更多的机器,那么您应该真正使用专用的群集管理和自动化工具,如Salt、Ansible、Puppet或Chef。

您可能需要调查……或芹菜以获得工作队列。或者两者兼而有之。