Amazon s3 将大型数据集迁移到s3

我正在尝试重命名2TB（千万）的图像并将其从本地服务器迁移到AmazonS3上。我编写PHP是为了使用aws库（在同一台本地机器上运行）发送它们，但我没有它想要完成的6个月。寻找一些更快完成这项工作的想法

我有两个想法，但不确定它们是否会更好。。。。 1.使用一些挂载的s3解决方案（s3fs）来并行上传（会吗？） 2.将图像拉到ec2实例上，并从那里发送到s3。我可以用ssh/FTP或http来拉它们。仍然可能需要手动并行它们

---

如果有任何帮助，我们将不胜感激。

将您的10M+图像列表拆分为多个子集。将每个子集并行上传到S3。

将10M+图像列表拆分为子集。将每个子集并行上载到S3。

另一种可能性是使用数据。

另一种可能性是使用数据。

我需要100个并行。看来一定有什么东西能帮到我，或者至少有点帮助。脚本语言会帮到你的。也许您可以编写一个包装器外壳脚本来自动拆分和提交部分。我希望找到一些可以为我做到这一点的东西，但最终并没有那么糟糕。我实现了argv参数，这样我就可以轻松地在不同的图像集上调用上载脚本。看来一定有什么东西能帮到我，或者至少有点帮助。脚本语言会帮到你的。也许您可以编写一个包装器外壳脚本来自动拆分和提交部分。我希望找到一些可以为我做到这一点的东西，但最终并没有那么糟糕。我实现了argv参数，因此可以轻松地在不同的图像集上调用上载脚本。