Amazon s3 AWS:雅典娜如何获得S3工作的请求?
雅典娜如何获得S3工作的请求?我的印象是一个S3GET请求=从一个存储桶中获取一个文件。但事实似乎并非如此,因为一个使用4个文件的查询要花费我大约400个GET请求。Amazon s3 AWS:雅典娜如何获得S3工作的请求?,amazon-s3,amazon-athena,Amazon S3,Amazon Athena,雅典娜如何获得S3工作的请求?我的印象是一个S3GET请求=从一个存储桶中获取一个文件。但事实似乎并非如此,因为一个使用4个文件的查询要花费我大约400个GET请求。 到底发生了什么?如果对可拆分且足够大的文件运行查询,Athena将启动读取部分文件的工作人员。由于并行化,这提高了性能。可拆分文件是例如拼花文件 100倍的放大倍数听起来很高。我不知道雅典娜想要多大尺寸的文件,我也不知道你的文件的尺寸。对于额外的GET操作,也可能有其他解释,无论是在雅典娜内部还是来自其他来源——您有多确定这些请求
到底发生了什么?如果对可拆分且足够大的文件运行查询,Athena将启动读取部分文件的工作人员。由于并行化,这提高了性能。可拆分文件是例如拼花文件 100倍的放大倍数听起来很高。我不知道雅典娜想要多大尺寸的文件,我也不知道你的文件的尺寸。对于额外的GET操作,也可能有其他解释,无论是在雅典娜内部还是来自其他来源——您有多确定这些请求来自雅典娜 可以进一步研究的一种方法是在CloudTrail中为bucket启用对象级日志记录。您应该能够看到所有请求参数,如读取的字节范围。如果您担任一个角色并传递一个唯一的会话名称,并且仅使用您获得的凭据进行一个查询,那么您应该能够隔离Athena为该查询执行的所有S3操作