Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Multithreading 如何使用s3cmd多线程?_Multithreading_Amazon Web Services_Download_Amazon_S3cmd - Fatal编程技术网

Multithreading 如何使用s3cmd多线程?

Multithreading 如何使用s3cmd多线程?,multithreading,amazon-web-services,download,amazon,s3cmd,Multithreading,Amazon Web Services,Download,Amazon,S3cmd,我们的目标是从AWS下载大约500万个小文件到CentOS服务器。我们发现了s3cmd实用程序,它几乎适用于所有情况。除了下载,因为它只支持一个线程:(下载60天之后,这简直是疯了!) 是否有新版本的s3cmd或其他方式以多线程模式下载所有文件?我自己打开了s4cmd,这是一个很棒的工具。是的,它支持多线程。你的互联网连接不限制下载吗?@JeanLogeart是的,我是,但一个线程的最大速度为500 kBps,但我的互联网可以处理最大速度为10 Mbps。我在另一台计算机(Windows)上测试

我们的目标是从AWS下载大约500万个小文件到CentOS服务器。我们发现了s3cmd实用程序,它几乎适用于所有情况。除了下载,因为它只支持一个线程:(下载60天之后,这简直是疯了!)


是否有新版本的s3cmd或其他方式以多线程模式下载所有文件?

我自己打开了s4cmd,这是一个很棒的工具。是的,它支持多线程。

你的互联网连接不限制下载吗?@JeanLogeart是的,我是,但一个线程的最大速度为500 kBps,但我的互联网可以处理最大速度为10 Mbps。我在另一台计算机(Windows)上测试S3Browser采用多线程模式,40个线程的速度为4-5 Mbps。但我在CentOS中需要同样的速度。你试过打开多个终端吗?@JeanLogeart我考虑过。但它如何在相同的文件上工作?因为将整个存储桶分成几个部分并不是一个简单的任务。假设这是一个解决方案,但我只使用它n最坏的情况。