Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/329.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 在zip文件上分发大量弹药的最佳方法_Python_Hadoop_Distributed Computing_Zeromq - Fatal编程技术网

Python 在zip文件上分发大量弹药的最佳方法

Python 在zip文件上分发大量弹药的最佳方法,python,hadoop,distributed-computing,zeromq,Python,Hadoop,Distributed Computing,Zeromq,我在分布式计算方面没有太多经验,但我想在python中创建一个脚本,将解压作业集中分发到x台服务器上,这样我就不必经常登录多台服务器,在文件共享上分发解压作业 对于这类任务,什么是最好的工具,我想在将来使用hadoop,但我知道的还不够,我认为这可能不是适合这项工作的工具。我在zeromq上看到过一些类似的帖子。只是想知道什么工具最适合这样的工作 解压文件时,I/O边界通常是问题所在,而不是CPU。因此,登录到多个服务器以解压缩同一共享上的文件只会堵塞承载该共享的(文件)服务器的网络连接 另一方

我在分布式计算方面没有太多经验,但我想在python中创建一个脚本,将解压作业集中分发到x台服务器上,这样我就不必经常登录多台服务器,在文件共享上分发解压作业


对于这类任务,什么是最好的工具,我想在将来使用hadoop,但我知道的还不够,我认为这可能不是适合这项工作的工具。我在zeromq上看到过一些类似的帖子。只是想知道什么工具最适合这样的工作

解压文件时,I/O边界通常是问题所在,而不是CPU。因此,登录到多个服务器以解压缩同一共享上的文件只会堵塞承载该共享的(文件)服务器的网络连接


另一方面,如果您试图在不同的服务器上解压相同的文件,则根本不需要python。查看命令及其相关信息。

谢谢你的建议,我决定用芹菜做一个有趣的项目。