Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services Amazon S3、Amazon Athena和Amazon Athena与分区的比较_Amazon Web Services_Amazon S3_Partitioning_Amazon Athena - Fatal编程技术网

Amazon web services Amazon S3、Amazon Athena和Amazon Athena与分区的比较

Amazon web services Amazon S3、Amazon Athena和Amazon Athena与分区的比较,amazon-web-services,amazon-s3,partitioning,amazon-athena,Amazon Web Services,Amazon S3,Partitioning,Amazon Athena,我想知道当我们使用AmazonAthena而不使用分区和使用分区时的性能改进。我确信分区雅典娜比雅典娜好得多。但是,与AmazonS3相比,没有分区的Athena有什么改进吗?分区将数据文件分离到不同的目录中。如果用于分区的列是查询的WHERE子句的一部分,则允许Athena跳过不包含相关数据的目录。这对于提高查询性能(并降低成本)非常有效,因为它减少了对磁盘访问和内存的需求 有几种方法可以提高Amazon Athena的性能: 以列格式存储数据,如拼花地板。这允许雅典娜直接进入特定列,而不必

我想知道当我们使用AmazonAthena而不使用分区和使用分区时的性能改进。我确信分区雅典娜比雅典娜好得多。但是,与AmazonS3相比,没有分区的Athena有什么改进吗?

分区将数据文件分离到不同的目录中。如果用于分区的列是查询的
WHERE
子句的一部分,则允许Athena跳过不包含相关数据的目录。这对于提高查询性能(并降低成本)非常有效,因为它减少了对磁盘访问和内存的需求

有几种方法可以提高Amazon Athena的性能:

  • 以列格式存储数据,如拼花地板。这允许雅典娜直接进入特定列,而不必读取宽表中的所有列。(这类似于亚马逊红移。)
  • 压缩数据(如使用Snappy压缩)以减少需要从磁盘读取的数据量。这也降低了查询的成本,因为查询是根据从磁盘读取的数据量收费的。(即时储蓄!)
  • 分区数据在查询的
    WHERE
    子句中使用分区键时,完全跳过输入文件
有关这些好处的一些示例,请参见:

您所说的“没有分区的Athena是否比AmazonS3有任何改进”是什么意思?AmazonS3只是一个存储服务,它不能直接与AmazonAthena相比。或者你指的是S3选择?