Multithreading 如何使用s3cmd多线程?
我们的目标是从AWS下载大约500万个小文件到CentOS服务器。我们发现了s3cmd实用程序,它几乎适用于所有情况。除了下载,因为它只支持一个线程:(下载60天之后,这简直是疯了!)Multithreading 如何使用s3cmd多线程?,multithreading,amazon-web-services,download,amazon,s3cmd,Multithreading,Amazon Web Services,Download,Amazon,S3cmd,我们的目标是从AWS下载大约500万个小文件到CentOS服务器。我们发现了s3cmd实用程序,它几乎适用于所有情况。除了下载,因为它只支持一个线程:(下载60天之后,这简直是疯了!) 是否有新版本的s3cmd或其他方式以多线程模式下载所有文件?我自己打开了s4cmd,这是一个很棒的工具。是的,它支持多线程。你的互联网连接不限制下载吗?@JeanLogeart是的,我是,但一个线程的最大速度为500 kBps,但我的互联网可以处理最大速度为10 Mbps。我在另一台计算机(Windows)上测试
是否有新版本的s3cmd或其他方式以多线程模式下载所有文件?我自己打开了s4cmd,这是一个很棒的工具。是的,它支持多线程。你的互联网连接不限制下载吗?@JeanLogeart是的,我是,但一个线程的最大速度为500 kBps,但我的互联网可以处理最大速度为10 Mbps。我在另一台计算机(Windows)上测试S3Browser采用多线程模式,40个线程的速度为4-5 Mbps。但我在CentOS中需要同样的速度。你试过打开多个终端吗?@JeanLogeart我考虑过。但它如何在相同的文件上工作?因为将整个存储桶分成几个部分并不是一个简单的任务。假设这是一个解决方案,但我只使用它n最坏的情况。