File upload 如何加快S3上传/更新速度？

今天一整天我都在尝试上传一些小东西到s3。500个目录中约20k个文件，总计约3GB。对于称为简单存储服务的服务来说，这是绝对合理的。我可以以大约500k/s-1mb/s（1.8到3.6GB/h）的平均速度上传到不同的地方。我整天都在试图将这些文件上传到s3，我一定是以令人沮丧的速度上传的（想想100MB/h左右）

我试过：

• s3 web控制台在各种操作系统上具有多种浏览器
• boto使用了我写过的各种脚本，并在网上找到（主要是在这里等）

我的问题，我希望你能帮助我诊断，如下所示：

• 拖放到s3控制台（仅计算20k文件就需要一个小时）。为什么？除非我能解决这个问题，否则网络控制台对我来说几乎是无用的
• 上传本身非常慢，速度几乎不超过100k/s
• 在一整天的上传之后，我注意到文件名有一个简单的问题，我不想再花一整晚的时间上传文件，我使用了这个脚本：每个人都说它工作得非常快。它设法每2-3秒重命名大约1200KB的文件。为什么?
• 上传后，公开所有文件（使用web控制台）花费了大约4个小时，但仍未完成

这真是令人沮丧，一定是我做错了什么。我希望每件事都能快10倍，但事实并非如此。我读过，如果分割文件s3运行得更快，我读到区域（我在纽约）非常重要。什么样的变化会给我上传速度的最大提升

上传速度非常慢

您可以尝试在数百个并行队列中执行r哪个上传操作，这样上传过程会更快

上传后，公开所有文件（使用web控制台）花费了大约4个小时，但仍未完成

您可以在bucket上设置对对象的公共访问策略。
以下示例策略允许访问匿名用户

 { 
  "Id": "ds", 
  "Statement": [{ 
  "Action": "s3:GetObject", 
  "Effect": "Allow", 
  "Principal": {"AWS": "*"}, 
  "Resource": [ 
  "arn:aws:s3:::testbucket", 
  "arn:aws:s3:::testbucket/*" 
  ], 
  "Sid": "1" 
 }], 
  "Version": "2008-10-17" 
  } 

---

披露：我是Bucket Explorer的开发者之一

也许可以通过改变AWS服务器位置来修复上传速度慢的问题

我刚刚弄明白，我的问题是什么：上传的持续时间（大小35MB）

• 美国俄勒冈州西部2:5-6分钟
• 德国法兰克福欧盟中心：1分钟！（这是我连接的最大值）

---

我的总部在维也纳，不在美国->检查您的AWS服务器位置

您应该查看与S3无关的@alfasin。@carlosdc，您在哪个地区创建了bucket？此外，美国东北部的一家主要宽带（以及，嗯，视频）提供商对AWS流量进行了“无法解释的”节流，这一指控由来已久。然而，S3一点也不慢。@MichaelSqlbot我不久前创建了这个bucket，它是美国标准的。我的ISP是TWC。@Michael sqlbot S3不是为高吞吐量而设计的。IOPS EBS是为密集I/O而设计的，这是OP的要求。firefox警告我Bucket Explorer包含恶意软件（virustotal也是如此）。