Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 在位于不同区域的两个s3存储桶之间大容量复制多个文件_Amazon Web Services_Amazon S3_Amazon Ec2_Aws Lambda - Fatal编程技术网

Amazon web services 在位于不同区域的两个s3存储桶之间大容量复制多个文件

Amazon web services 在位于不同区域的两个s3存储桶之间大容量复制多个文件,amazon-web-services,amazon-s3,amazon-ec2,aws-lambda,Amazon Web Services,Amazon S3,Amazon Ec2,Aws Lambda,我需要复制一大块数据,大约300 GB的文件,从美国东部地区的bucket a复制到ap东南地区的bucket B。我还需要改变桶的结构。就像我需要根据bucket A中的图像名称将文件推送到bucket B上的不同文件夹一样。我尝试使用AWS Lambda,但在ap东南部不可用 另外,由于数据将在区域之间传输,需要多少成本?使用bucket复制,然后在目标区域中创建另一个bucket,并执行S3对象键操作 阅读更多有关方法的信息。 具有aws s3 cp命令,可用于在存储桶之间移动对象(即使在

我需要复制一大块数据,大约300 GB的文件,从美国东部地区的bucket a复制到ap东南地区的bucket B。我还需要改变桶的结构。就像我需要根据bucket A中的图像名称将文件推送到bucket B上的不同文件夹一样。我尝试使用AWS Lambda,但在ap东南部不可用


另外,由于数据将在区域之间传输,需要多少成本?

使用bucket复制,然后在目标区域中创建另一个bucket,并执行S3对象键操作


阅读更多有关方法的信息。

具有
aws s3 cp
命令,可用于在存储桶之间移动对象(即使在不同的区域),并可同时对其进行重命名

aws s3 cp s3://bucket-in-us/foo/bar.txt s3://bucket-in-ap/foo1/foo2/bar3.txt
还有
aws s3 sync
选项,可用于在两个存储桶之间同步内容,但这无助于您重命名对象的要求

成本


从美国地区到另一地区的数据传输费用以0.02美元/GB的价格显示在屏幕上。

我的理解(以及我的测试)表明,存储桶之间的同步不会通过本地机器进行。例如我在悉尼和东京的水桶之间复制了一个200MB的物体,花了37秒。当仅仅从悉尼(我住的地方)下载这个对象时,它花了3分钟。亲自尝试:从这个公共数据集中获取一些样本数据:
s3://landsat pds/L8/139/045/LC81390452014295LGN00/
感谢您的更正。从aws s3的
documentation可以看出,该命令实际上使用本地存储作为缓存。我将删除我的原始评论。我仍然建议使用跨区域复制,因为它处理正在进行的更改,所以您不必管理大脑分裂的场景。