Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 使用Athena在s3中查询拼花地板文件不经常访问:需要多少钱?_Amazon S3_Amazon Athena - Fatal编程技术网

Amazon s3 使用Athena在s3中查询拼花地板文件不经常访问:需要多少钱?

Amazon s3 使用Athena在s3中查询拼花地板文件不经常访问:需要多少钱?,amazon-s3,amazon-athena,Amazon S3,Amazon Athena,当我使用Athena扫描位于s3中的拼花地板文件时,Athena会向我收取扫描数据量的账单。由于拼花是一种列格式,因此只涉及宽表的几列的查询最终只扫描拼花文件的一小部分,从而在查询方面节省了成本。如果拼花文件存储在S3的标准访问层中,那么从S3访问数据就没有额外的成本 如果数据存储在S3的不频繁访问层(IA)中会怎样?如果雅典娜扫描存储在S3中的拼花地板文件的一小部分,我会扫描吗 仅为雅典娜扫描的字节数支付不频繁访问数据检索费,或 为整个拼花地板文件的大小支付不经常访问的数据检索费,因为如果我触

当我使用Athena扫描位于s3中的拼花地板文件时,Athena会向我收取扫描数据量的账单。由于拼花是一种列格式,因此只涉及宽表的几列的查询最终只扫描拼花文件的一小部分,从而在查询方面节省了成本。如果拼花文件存储在S3的标准访问层中,那么从S3访问数据就没有额外的成本

如果数据存储在S3的不频繁访问层(IA)中会怎样?如果雅典娜扫描存储在S3中的拼花地板文件的一小部分,我会扫描吗

  • 仅为雅典娜扫描的字节数支付不频繁访问数据检索费,或
  • 为整个拼花地板文件的大小支付不经常访问的数据检索费,因为如果我触摸整个文件,我将收取访问整个文件的费用
  • 根据数据,似乎不经常访问会产生以下相关费用:

    • 获取、选择和所有其他请求(每1000个请求):$0.001(与$0.0004相比)
    • 数据检索(每GB):0.01美元(与0.00美元相比)
    我的理解是,数据检索将针对从S3“检索”的数据量,这可能是从雅典娜获得的。但是,我没有具体信息表明这是收费方式

    Athena可能会因为列式存储而在文件中“跳跃”,这也会导致GET请求的费用


    对于不经常访问的文件的正常访问,如果每月访问对象少于一次,IA会更便宜。拼花地板的使用可能会改善这个等式。确保的唯一方法是在您通常不使用的bucket®ion(或其他帐户)上设置测试,做一些访问,然后看看会产生什么费用。

    我怀疑,与撰写或阅读此问题的时间相比,在IA中使用拼花文件而不是标准S3所节省或损失的钱微不足道。我希望这是真的。查询不频繁访问(与标准存储相反)会增加$10/TB。雅典娜通常每TB收费5美元。因此,当Athena以不经常访问的方式查询数据时,成本为15美元/TB(访问IA为10美元,使用Athena为5美元=15美元/TB)。因此,这使Athena的成本增加了三倍,这在我工作的公司中意义重大(我怀疑还有许多其他公司将Athena用作其数据仓库的一部分)。通过IA,您可以节省大约50%的存储成本,如果您有大量不常查询的数据,您仍然可以节省资金。例如,如果您有基于时间的良好分区,并且您有多年的数据,则情况尤其如此。