Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon s3 AWS:雅典娜如何获得S3工作的请求?_Amazon S3_Amazon Athena - Fatal编程技术网

Amazon s3 AWS:雅典娜如何获得S3工作的请求?

Amazon s3 AWS:雅典娜如何获得S3工作的请求?,amazon-s3,amazon-athena,Amazon S3,Amazon Athena,雅典娜如何获得S3工作的请求?我的印象是一个S3GET请求=从一个存储桶中获取一个文件。但事实似乎并非如此,因为一个使用4个文件的查询要花费我大约400个GET请求。 到底发生了什么?如果对可拆分且足够大的文件运行查询,Athena将启动读取部分文件的工作人员。由于并行化,这提高了性能。可拆分文件是例如拼花文件 100倍的放大倍数听起来很高。我不知道雅典娜想要多大尺寸的文件,我也不知道你的文件的尺寸。对于额外的GET操作,也可能有其他解释,无论是在雅典娜内部还是来自其他来源——您有多确定这些请求

雅典娜如何获得S3工作的请求?我的印象是一个S3GET请求=从一个存储桶中获取一个文件。但事实似乎并非如此,因为一个使用4个文件的查询要花费我大约400个GET请求。
到底发生了什么?

如果对可拆分且足够大的文件运行查询,Athena将启动读取部分文件的工作人员。由于并行化,这提高了性能。可拆分文件是例如拼花文件

100倍的放大倍数听起来很高。我不知道雅典娜想要多大尺寸的文件,我也不知道你的文件的尺寸。对于额外的GET操作,也可能有其他解释,无论是在雅典娜内部还是来自其他来源——您有多确定这些请求来自雅典娜

可以进一步研究的一种方法是在CloudTrail中为bucket启用对象级日志记录。您应该能够看到所有请求参数,如读取的字节范围。如果您担任一个角色并传递一个唯一的会话名称,并且仅使用您获得的凭据进行一个查询,那么您应该能够隔离Athena为该查询执行的所有S3操作