Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 从aws s3存储桶获取对象是否缓慢?_Amazon Web Services_Amazon S3_Aws Java Sdk - Fatal编程技术网

Amazon web services 从aws s3存储桶获取对象是否缓慢?

Amazon web services 从aws s3存储桶获取对象是否缓慢?,amazon-web-services,amazon-s3,aws-java-sdk,Amazon Web Services,Amazon S3,Aws Java Sdk,我正在使用S3Objects.withPrefix()从位于东部地区的s3存储桶中获取10万个对象。返回所有对象花费了超过10秒的时间。那有点慢。有没有人有类似的经历?我认为从s3存储桶中获取对象应该快得多?或者我使用了错误的API?目前,这10万个对象位于10个子目录下,例如/North/Maine/Town1/,/North/Maine/Town2,…/North/Maine/Town10。如果我把它们放在相同的子目录下,比如:/North/Maine/Towns/会更快吗?谢谢您正在进行并

我正在使用S3Objects.withPrefix()从位于东部地区的s3存储桶中获取10万个对象。返回所有对象花费了超过10秒的时间。那有点慢。有没有人有类似的经历?我认为从s3存储桶中获取对象应该快得多?或者我使用了错误的API?目前,这10万个对象位于10个子目录下,例如/North/Maine/Town1/,/North/Maine/Town2,…/North/Maine/Town10。如果我把它们放在相同的子目录下,比如:/North/Maine/Towns/会更快吗?谢谢

您正在进行并发/多线程处理吗?也许可以在每个镇上尝试一些进程/线程过滤器。请为您的问题添加明确的标签,以帮助我们。当你说“get”的时候,你实际上是指get(如“从S3下载”)还是指list(如“给我一个带有给定前缀的对象列表”)?我想是后者吧。请澄清。是的,我需要从S3下载对象在10秒内下载100k对象对我来说并不特别慢。您需要什么样的性能?文件列表是否取决于客户端发出的请求,或者您是否可以在本地磁盘上提前缓存下载(假设您没有在Lambda中运行)?确保EC2与S3存储桶位于同一区域。另外,请阅读TransferManager以并行化选项(请参阅)并阅读本指南()