Amazon s3 对于大文件，boto速度慢吗？

我正在做一些上传大文件的性能测试，大约为100MB+。我读过一些帖子，内容是关于拆分文件并同时上传文件，但我只是想弄清楚一个大文件的速度有多快

当我上传并观看collectl的性能时，一秒一秒，我的速度永远不会超过5MB/秒。另一方面，如果我将文件大小减少到50MB，我可以以20MB/秒的速度进行上传

是否存在基于文件大小的魔法？有没有办法让我的单个100MB文件上传速度更快？如果是500MB甚至5G，会发生什么

嗯，我试了很多次，一直都是5MB/秒，现在我再试一次就超过了15秒。这是因为我共享带宽吗

---

-马克

毫无疑问，boto中没有任何魔法可以解释你所观察到的可变性。这个等式中有太多的变量，例如您自己与internet的连接、您的提供商与主干网的连接、总体网络流量、S3上的负载等，因此很难得到明确的答案

---

总的来说，我发现通过使用多部分上传和某种并发性可以获得最佳性能。boto中的

s3put

命令行实用程序提供了一种执行此操作的方法。此外，如果您的S3存储桶位于特定区域，那么如果您连接到该特定端点而不是通用S3端点，您可能会看到更好的性能。

我应该提到我是从amazon实例连接的，因此我对共享带宽的评论如下