Amazon ec2 如何使用s3fs将文件和目录从S3 bucket mount复制到EBS

Amazon ec2 如何使用s3fs将文件和目录从S3 bucket mount复制到EBS,amazon-ec2,amazon-ebs,s3fs,Amazon Ec2,Amazon Ebs,S3fs,我在一个带有S3FS的EC2实例中以卷的形式装载了一个S3 bucket。我已经用PHP创建了一个目录结构,现在超过20GB S3FS耗尽了实例内存,上传速度非常慢,所以我想将所有文件移动到连接到同一实例的EBS 我尝试过S3CMD,但有一些不兼容之处,因为S3FS在bucket中创建的对象大小为零,与目录同名 还尝试编写一个脚本来递归复制结构,跳过那些大小为零的对象 没有一个奏效 有人试过这样做吗?提前感谢您的帮助。@hernangarcia不要让事情变得复杂,使用递归wget,即wget-r

我在一个带有S3FS的EC2实例中以卷的形式装载了一个S3 bucket。我已经用PHP创建了一个目录结构,现在超过20GB

S3FS耗尽了实例内存,上传速度非常慢,所以我想将所有文件移动到连接到同一实例的EBS

我尝试过S3CMD,但有一些不兼容之处,因为S3FS在bucket中创建的对象大小为零,与目录同名

还尝试编写一个脚本来递归复制结构,跳过那些大小为零的对象

没有一个奏效


有人试过这样做吗?提前感谢您的帮助。

@hernangarcia不要让事情变得复杂,使用递归wget,即wget-r后跟bucket端点的url。您可以将所有内容下载到EBS卷。另外,我的建议是,不要在实例的根卷上存储所有类似于20 GB的文件,而是将另一个卷附加到该卷,然后将所有这些文件存储在该额外卷中,如果该卷的IOPS较高,则操作会更快