Amazon web services 从aws s3存储桶获取对象是否缓慢?
我正在使用S3Objects.withPrefix()从位于东部地区的s3存储桶中获取10万个对象。返回所有对象花费了超过10秒的时间。那有点慢。有没有人有类似的经历?我认为从s3存储桶中获取对象应该快得多?或者我使用了错误的API?目前,这10万个对象位于10个子目录下,例如/North/Maine/Town1/,/North/Maine/Town2,…/North/Maine/Town10。如果我把它们放在相同的子目录下,比如:/North/Maine/Towns/会更快吗?谢谢您正在进行并发/多线程处理吗?也许可以在每个镇上尝试一些进程/线程过滤器。请为您的问题添加明确的标签,以帮助我们。当你说“get”的时候,你实际上是指get(如“从S3下载”)还是指list(如“给我一个带有给定前缀的对象列表”)?我想是后者吧。请澄清。是的,我需要从S3下载对象在10秒内下载100k对象对我来说并不特别慢。您需要什么样的性能?文件列表是否取决于客户端发出的请求,或者您是否可以在本地磁盘上提前缓存下载(假设您没有在Lambda中运行)?确保EC2与S3存储桶位于同一区域。另外,请阅读TransferManager以并行化选项(请参阅)并阅读本指南()Amazon web services 从aws s3存储桶获取对象是否缓慢?,amazon-web-services,amazon-s3,aws-java-sdk,Amazon Web Services,Amazon S3,Aws Java Sdk,我正在使用S3Objects.withPrefix()从位于东部地区的s3存储桶中获取10万个对象。返回所有对象花费了超过10秒的时间。那有点慢。有没有人有类似的经历?我认为从s3存储桶中获取对象应该快得多?或者我使用了错误的API?目前,这10万个对象位于10个子目录下,例如/North/Maine/Town1/,/North/Maine/Town2,…/North/Maine/Town10。如果我把它们放在相同的子目录下,比如:/North/Maine/Towns/会更快吗?谢谢您正在进行并