Amazon s3 AWS EC2 S3和数千个目录,每个s3cmd中有几个文件
我在非AWS VPS上有成千上万个目录,每个目录中都有一些文件(大约1TB的数据)。我想把它们全部转移到S3 我可以将它们压缩成7GB的块,移动到EC2(8GB Ubuntu)上(wget或其他),解压并将它们转换成S3 或 使用s3cmd同步目录直接从我的VPS转到S3 哪种方法对性能和可靠性最有利Amazon s3 AWS EC2 S3和数千个目录,每个s3cmd中有几个文件,amazon-s3,amazon-ec2,vps,s3cmd,Amazon S3,Amazon Ec2,Vps,S3cmd,我在非AWS VPS上有成千上万个目录,每个目录中都有一些文件(大约1TB的数据)。我想把它们全部转移到S3 我可以将它们压缩成7GB的块,移动到EC2(8GB Ubuntu)上(wget或其他),解压并将它们转换成S3 或 使用s3cmd同步目录直接从我的VPS转到S3 哪种方法对性能和可靠性最有利 谢谢有两个因素会让我做出决定 平均文件大小是多少?(数千个小文件可能比几个大文件花费更多的时间) 你能得到什么样的压缩 如果决定使用中间实例,则可以附加1 TB EBS卷以在传输时处理文件。这会增
谢谢有两个因素会让我做出决定
如果决定使用中间实例,则可以附加1 TB EBS卷以在传输时处理文件。这会增加一点成本,但一旦完成,您就不需要保持音量。太棒了,谢谢您对EBS的提醒。AWS是一个惊人的“东西”,尽管它并不真正了解或利用它的全部潜力。我没能补充说有大约350万个小文件(很少MB)。