Amazon web services Amazon S3、Amazon Athena和Amazon Athena与分区的比较
我想知道当我们使用AmazonAthena而不使用分区和使用分区时的性能改进。我确信分区雅典娜比雅典娜好得多。但是,与AmazonS3相比,没有分区的Athena有什么改进吗?分区将数据文件分离到不同的目录中。如果用于分区的列是查询的Amazon web services Amazon S3、Amazon Athena和Amazon Athena与分区的比较,amazon-web-services,amazon-s3,partitioning,amazon-athena,Amazon Web Services,Amazon S3,Partitioning,Amazon Athena,我想知道当我们使用AmazonAthena而不使用分区和使用分区时的性能改进。我确信分区雅典娜比雅典娜好得多。但是,与AmazonS3相比,没有分区的Athena有什么改进吗?分区将数据文件分离到不同的目录中。如果用于分区的列是查询的WHERE子句的一部分,则允许Athena跳过不包含相关数据的目录。这对于提高查询性能(并降低成本)非常有效,因为它减少了对磁盘访问和内存的需求 有几种方法可以提高Amazon Athena的性能: 以列格式存储数据,如拼花地板。这允许雅典娜直接进入特定列,而不必
WHERE
子句的一部分,则允许Athena跳过不包含相关数据的目录。这对于提高查询性能(并降低成本)非常有效,因为它减少了对磁盘访问和内存的需求
有几种方法可以提高Amazon Athena的性能:
- 以列格式存储数据,如拼花地板。这允许雅典娜直接进入特定列,而不必读取宽表中的所有列。(这类似于亚马逊红移。)
- 压缩数据(如使用Snappy压缩)以减少需要从磁盘读取的数据量。这也降低了查询的成本,因为查询是根据从磁盘读取的数据量收费的。(即时储蓄!)
- 分区数据在查询的
子句中使用分区键时,完全跳过输入文件WHERE