Amazon s3 有没有人达到过AmazonS3存储桶的读写上限?

Amazon s3 有没有人达到过AmazonS3存储桶的读写上限?,amazon-s3,amazon-ec2,cloud,scalability,Amazon S3,Amazon Ec2,Cloud,Scalability,S3扩展是否存在已知的限制?有人曾经有过如此多的同时读写操作,以至于一个bucket开始返回错误吗?我对写比读更感兴趣,因为S3很可能针对读进行了优化。Eric的评论在概念层面上对其进行了总结,如常见问题解答中所述: AmazonS3从一开始就被设计用于处理任何应用程序的流量 互联网应用。[…]亚马逊S3的巨大规模使我们能够 均匀分布负载,使单个应用程序不受 交通堵塞 当然,您仍然需要考虑可能的问题,并针对重复的减速错误调整[您的]应用程序(请参阅): 与任何分布式系统一样,S3具有保护机制 检

S3扩展是否存在已知的限制?有人曾经有过如此多的同时读写操作,以至于一个bucket开始返回错误吗?我对写比读更感兴趣,因为S3很可能针对读进行了优化。

Eric的评论在概念层面上对其进行了总结,如常见问题解答中所述:

AmazonS3从一开始就被设计用于处理任何应用程序的流量 互联网应用。[…]亚马逊S3的巨大规模使我们能够 均匀分布负载,使单个应用程序不受 交通堵塞

当然,您仍然需要考虑可能的问题,并针对重复的减速错误调整[您的]应用程序(请参阅):

与任何分布式系统一样,S3具有保护机制 检测有意或无意的资源过度消耗和 作出相应的反应当请求速率较高时,可能会发生减速错误 触发这些机制之一。降低请求速率将 减少或消除此类错误一般来说,大多数 用户不会经常遇到这些错误;但是,如果 想要了解更多信息,或遇到高风险或意外情况 减速错误,请发布到我们的Amazon S3开发者论坛 或者注册AWS高级支持 . [我的重点]

虽然很少见,但这些减速确实会发生——下面是一个例子,说明了这个问题(尽管很陈旧):

当请求率足够高时,AmazonS3将返回此错误 为请求提供服务将导致其他请求的服务降级 客户。很少触发此错误如果您确实收到 如果是这样的话,您应该以指数级的速度后退。如果发生此错误,系统将 资源将被重新平衡/分配,以更好地支持 更高的请求率。因此 抛出的错误应该相对较短。[我的重点]

您关于读写优化的假设也得到了证实:

触发此错误的阈值会有所不同,并将取决于 部分,关于请求类型和模式。一般来说,你可以 使用GET vs.puts和大量GET获得更高的rps 密钥数量少,而大量密钥的GET数量多。 当获取或放置大量密钥时,您将能够实现 与随机/散列相比,如果键按字母数字顺序排列,则rps更高 秩序


AmazonS3每秒处理数十万个请求()。每个bucket的对象数量没有限制,因此我怀疑bucket级别是否存在并发限制。仅供参考,我刚刚在不到15天的时间内上传了1000多万个文件,有30个并发线程。没有遇到任何限制/问题。我正在处理的项目遇到了这个问题,Aws s3错误地说,“减慢您的请求速率”。我正在从事一个项目,其中读/写请求随着CSV数据行数的增加而增加。对于5000万行数据,我遇到了这个错误。任何帮助都将不胜感激。