Amazon web services AWS S3在区域之间迁移50 TB的数据

我们目前正在考虑在不同的AWS区域之间迁移50 TB的S3对象

除了使用aws cli迁移这么多数据之外，还有其他方法吗

最短的方法是什么？

有几个选项：

• 如果您所在的地区在同一个国家，则数据传输的价格相当合理。这需要时间
与其使用AWS CLI，不如考虑使用“使它简单快捷地在在线存储和Amazon S3、Amazon弹性文件系统（Amazon EFS）或Amazon FSX为Windows文件服务器之间移动大量数据。”
• 我认为AWS Snowball不适用于区域间的数据传输。它仅用于进出S3和您自己的位置

---

与在一个区域内移动数据相比，跨区域移动数据没有什么特别之处，只是增加了带宽费用。AWS DataSync可能会影响跨区域性能，但在我的测试中，这种影响可以忽略不计。这些技术更适合在现场存储和S3之间移动数据，而不是在两个S3区域之间移动数据

建议

对于在S3存储桶之间同步/复制数据，我建议S3P

（免责声明，我写的）

S3P比aws cli快50倍。我在一个区域内保持了8GB/秒的速度。我为一个客户端开发了S3P，该客户端必须在S3存储桶（相同区域）之间移动10000000个文件中的1 PB数据。 速度在很大程度上取决于平均文件大小，在本例中约为100MB。跨地区的速度也会较慢，但使用S3P，您完全有可能在几个小时内复制50TB的数据

S3P不仅通过大规模并行复制，而且通过大规模并行项目列表来提高速度。后者是S3P如何击败其他工具的。如果还有其他更快的方法，我很想知道

易于尝试

如果您已经安装了s3p，您可以轻松试用s3p，只需打开一个终端并运行以下命令即可获得命令列表：

npx s3p

• npm：
• 资料来源：

---

注意：S3P速度很快，甚至可以在本地机器上运行，但为了获得最佳性能，请在与S3存储桶（例如m5.xlarge）位于同一区域的适当大小的EC2实例上运行它。

您可以跨区域复制数据（CRR） 要复制现有对象，可以在源bucket上设置复制后运行以下cp命令：

aws s3 cp s3://source-awsexamplebucket s3://source-awsexamplebucket --recursive --storage-class STANDARD

此命令将源bucket中的对象复制回源bucket，从而触发到目标bucket的复制

---

还有aws s3同步选项，可用于在两个存储桶之间同步内容。

哇，太多了。以下是AWS知识中心提供的一些建议选项：。顺便说一句，这听起来可能会在你的口袋里烧个洞，所以看看复制数据的跨区域定价。你在哪个区域之间复制？美国地区在从美国/加拿大地区复制到其他地区时，数据传输的折扣率。事实上，我也会考虑雪球（使用这两个区域）。在存储这些数据量时，您甚至可以尝试联系AWS寻求建议