Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 AWS EC2 S3和数千个目录,每个s3cmd中有几个文件_Amazon S3_Amazon Ec2_Vps_S3cmd - Fatal编程技术网

Amazon s3 AWS EC2 S3和数千个目录,每个s3cmd中有几个文件

Amazon s3 AWS EC2 S3和数千个目录,每个s3cmd中有几个文件,amazon-s3,amazon-ec2,vps,s3cmd,Amazon S3,Amazon Ec2,Vps,S3cmd,我在非AWS VPS上有成千上万个目录,每个目录中都有一些文件(大约1TB的数据)。我想把它们全部转移到S3 我可以将它们压缩成7GB的块,移动到EC2(8GB Ubuntu)上(wget或其他),解压并将它们转换成S3 或 使用s3cmd同步目录直接从我的VPS转到S3 哪种方法对性能和可靠性最有利 谢谢有两个因素会让我做出决定 平均文件大小是多少?(数千个小文件可能比几个大文件花费更多的时间) 你能得到什么样的压缩 如果决定使用中间实例,则可以附加1 TB EBS卷以在传输时处理文件。这会增

我在非AWS VPS上有成千上万个目录,每个目录中都有一些文件(大约1TB的数据)。我想把它们全部转移到S3

我可以将它们压缩成7GB的块,移动到EC2(8GB Ubuntu)上(wget或其他),解压并将它们转换成S3

使用s3cmd同步目录直接从我的VPS转到S3

哪种方法对性能和可靠性最有利


谢谢

有两个因素会让我做出决定

  • 平均文件大小是多少?(数千个小文件可能比几个大文件花费更多的时间)
  • 你能得到什么样的压缩

  • 如果决定使用中间实例,则可以附加1 TB EBS卷以在传输时处理文件。这会增加一点成本,但一旦完成,您就不需要保持音量。

    太棒了,谢谢您对EBS的提醒。AWS是一个惊人的“东西”,尽管它并不真正了解或利用它的全部潜力。我没能补充说有大约350万个小文件(很少MB)。