Python 将文件从节点A并行传输到所有其他节点（远程主机）
我们的Jenkins工作目前正在下载所有组件以从artifactory构建每个构建，这种下载浪费了大量构建时间，因此，我已经开始使用一个工具，它可以在每次有新版本时下载所有组件，并且在构建开始时，我将使用主机上的外部缓存，而不是下载它 将文件（17 GB）下载到本地节点后，我面临着如何与所有其他节点共享这些文件的问题， 起初，我尝试将所有文件与其他节点进行rsync并行，但使用python多线程（24个节点）需要花费大量时间，然后我尝试使用并行ssh来告诉每个节点自行下载文件，但这也花费了大量时间， 然后我想从詹金斯那里得到很多工作，但这可能会填满我的队伍。 至少我考虑过只需将作业触发到其他主机&但是如果我这样做，我可能没有任何信息，以防在作业中下载失败 关于如何以最推荐的方式进行此活动，有什么建议吗？ 谢谢Python 将文件从节点A并行传输到所有其他节点（远程主机）,python,multithreading,jenkins,jenkins-groovy,jenkins-cli,Python,Multithreading,Jenkins,Jenkins Groovy,Jenkins Cli,我们的Jenkins工作目前正在下载所有组件以从artifactory构建每个构建，这种下载浪费了大量构建时间，因此，我已经开始使用一个工具，它可以在每次有新版本时下载所有组件，并且在构建开始时，我将使用主机上的外部缓存，而不是下载它 将文件（17 GB）下载到本地节点后，我面临着如何与所有其他节点共享这些文件的问题， 起初，我尝试将所有文件与其他节点进行rsync并行，但使用python多线程（24个节点）需要花费大量时间，然后我尝试使用并行ssh来告诉每个节点自行下载文件，但这也花费了大量时