Amazon web services 如何快速地将aws s3 bucket中的数百万文件从一个帐户迁移到另一个帐户

我在帐户A中有一个s3存储桶，其中有数百万个文件占用了很多GB

我想将所有这些数据迁移到帐户B中的一个新bucket中

到目前为止，我已经授予帐户B在帐户A的bucket上运行s3命令的权限

我能用这个方法得到一些结果

aws s3 sync

命令和设置

aws configure set default.s3.max_concurrent_请求100

它的速度很快，但它的速度只有每分钟20000个零件

是否有一种方法可以在不同帐户中跨aws存储桶快速同步/移动数据

我试着做aws传输加速，但这似乎有利于从bucket上传和下载，我认为它在aws帐户内工作

每分钟20000个零件

这是>300/秒，所以，嗯。。。很快。每小时120万，这也是相当可观的

这意味着300<代码>PUTreq/sec是默认的性能阈值

在某个时刻，太快地发出太多请求，您将淹没索引分区，并将开始遇到

503 Slow Down

错误——尽管希望aws cli能够优雅地处理这一问题

不过，这个想法似乎是S3将扩展以适应提供的工作负载，因此如果您让这个进程继续运行，您可能会发现它确实会随着时间的推移而变得更快

或者

如果您预计bucket的请求速率将快速增加到每秒300个以上的PUT/LIST/DELETE请求或每秒800个以上的GET请求，我们建议您打开一个支持案例，为工作负载做好准备，并避免对请求速率的任何临时限制

另外，请注意，它说的是“临时限制”。这就是我得出的结论，S3将——在某个时刻——提供更多的索引容量（可能这意味着分区拆分）以适应增加的工作负载

如果您运行多个单独的作业，每个作业处理不同的对象前缀（例如asset/1、asset/2、asset/3等），您还可能会发现，由于您没有在对象索引中创建这样一个热点，因此，如果您运行多个单独的作业，您可能会获得更高的聚合trx/sec

---

此处进行的复制操作是内部S3到S3的复制。它不是下载+上载。传输加速仅用于实际下载。

可能的副本