Amazon web services AmazonS3Select的用例

Amazon web services AmazonS3Select的用例,amazon-web-services,amazon-s3,amazon-s3-select,Amazon Web Services,Amazon S3,Amazon S3 Select,我查看并试图理解什么是s3select 大多数应用程序必须检索整个对象,然后仅过滤出所需的数据以进行进一步分析。S3 Select使应用程序能够将过滤和访问对象内部数据的繁重工作卸载到Amazon S3服务 基于上面的陈述,我试图想象什么是正确的用例 如果我有一个包含1亿行的excel文件,位于S3上,我可以使用S3 Select查询部分行,而不是下载整个1亿行,这是否有帮助?有很多用例。但两种明显的情况是集中化和时间效率 假设您在S3中有一个“1亿行的单个excel文件”。现在,如果您有几个人

我查看并试图理解什么是
s3select

大多数应用程序必须检索整个对象,然后仅过滤出所需的数据以进行进一步分析。S3 Select使应用程序能够将过滤和访问对象内部数据的繁重工作卸载到Amazon S3服务

基于上面的陈述,我试图想象什么是正确的用例


如果我有一个包含1亿行的excel文件,位于S3上,我可以使用S3 Select查询部分行,而不是下载整个1亿行,这是否有帮助?

有很多用例。但两种明显的情况是集中化时间效率

假设您在S3中有一个“1亿行的单个excel文件”。现在,如果您有几个人/部门/分支机构需要访问它,那么所有人都必须下载、存储和处理它。由于每个人都会单独下载,所以很快你就会发现他们都有旧版本的文件(新版本可以上传到S3),或者只是不同的版本——一个人的版本从今天开始,另一个人的版本从上周开始。使用S3 select,所有人都将查询并从存储在S3中的对象的一个版本中获取数据

此外,如果您有1亿条记录,则获取选定数据可以节省大量时间。想象一下,一个人只需要10条记录,另一个人需要1000条记录。第一个人不用下载1亿条记录,而是使用S3 Select只查找10条记录,而另一个人只获取他/她的1000条记录。所有这些都不需要下载1亿条记录


Glacier中使用S3 select会带来更多的好处,因为如果需要,您无法从中轻松下载文件。

是的,您是正确的。我鼓励你们阅读博客文章。如此强大的功能,谢谢你们的解释@艾萨克:没问题。