拉取大量文件(10000+;)时减慢sftp.mget

拉取大量文件(10000+;)时减慢sftp.mget,ftp,sftp,mget,Ftp,Sftp,Mget,我们正在通过一个通配符从远程服务器上提取数千个文件(10000+)。文件很小,传输本身的性能也很好。然而,隐含的“ls.856”性能非常糟糕。假定文件列表逻辑有一个隐式排序,因此大量的文件有很大的开销。理想情况下,mget会在找到第一个匹配项后立即开始传输 关于如何做得更好,您有什么建议或想法吗?rsync可能是您最好的解决方案。我们的系统是RHEL 7。不知道远程系统。这是一个BASH脚本。为什么rsync会是一个改进?

我们正在通过一个通配符从远程服务器上提取数千个文件(10000+)。文件很小,传输本身的性能也很好。然而,隐含的“ls.856”性能非常糟糕。假定文件列表逻辑有一个隐式排序,因此大量的文件有很大的开销。理想情况下,mget会在找到第一个匹配项后立即开始传输


关于如何做得更好,您有什么建议或想法吗?

rsync
可能是您最好的解决方案。我们的系统是RHEL 7。不知道远程系统。这是一个BASH脚本。为什么rsync会是一个改进?