Amazon s3 将100000个图像传输到S3。什么'；哪条路最快？

我正在寻找最快的方法，将约100000张图像从服务器传输到我的Amazon S3存储桶

---

那会是循环遍历每个图像并执行单独的PUT请求吗？我希望有一个更快的方法，但还没有找到任何东西。

不熟悉S3，但如果没有批量上传工具，您可以通过在多个并行进程中循环图像来加快速度，直到您最大限度地利用网络连接。

您可以尝试使用批量上传控制。或者，如果这是一次性任务，我考虑使用一些。

---

无论如何，如果你想使用PUT/POST请求上传，每个请求一个文件——这是亚马逊的API限制，在我看来似乎没有什么可做的。

也许可以试试蜗牛邮件

我们（CloudOpt）构建了一个名为CloudOptimizer的解决方案来优化数据传输到Amazon S3。它使用对称重复数据消除、压缩和一系列其他技术。看一看，让我知道你的想法。我很想得到你的反馈

---

。上周我用它将大约300万张图像传输到S3。它是多线程的，因此速度往往非常快。我测试了许多商业和开源工具，s3funnel是目前为止最好的IMO。

@Robert Massaioli FTP在S3中不受支持。我看不到将s3funnel指向目录的方法-您是否必须手动构建3000000个文件的列表？我有一段时间没有使用s3funnel了-awscli工具现在有S3同步选项，所以我一直在正确地使用它。IIRC，在这种情况下，我只需要将文件传输到bucket的根。