Performance 如何加速Amazon Athena查询执行?

Performance 如何加速Amazon Athena查询执行?,performance,amazon-web-services,aws-glue,amazon-athena,Performance,Amazon Web Services,Aws Glue,Amazon Athena,我正在使用Athena查询执行从粘合表中检索数据。 爬虫每小时使用S3桶更新一次此表,该桶由Kinesis Firehose不断更新 My Node.js服务器使用Athena执行基本查询。但我意识到有些请求需要很长时间,以至于我的服务器抛出服务器请求超时 我检查了Athena中的查询历史记录,发现一些最新请求的状态是排队的,这意味着它们正在等待执行。它们的运行时间都很短,在1到5秒之间。很明显,问题不在于运行时导致超时,而在于队列 如何加快这些查询的执行速度?或者如何增加并发执行限制,以便At

我正在使用Athena查询执行从粘合表中检索数据。 爬虫每小时使用S3桶更新一次此表,该桶由Kinesis Firehose不断更新

My Node.js服务器使用Athena执行基本查询。但我意识到有些请求需要很长时间,以至于我的服务器抛出服务器请求超时

我检查了Athena中的查询历史记录,发现一些最新请求的状态是排队的,这意味着它们正在等待执行。它们的运行时间都很短,在1到5秒之间。很明显,问题不在于运行时导致超时,而在于队列


如何加快这些查询的执行速度?或者如何增加并发执行限制,以便Athena立即执行这些限制?

您可以联系AWS支持部门以增加并发活动查询限制,
,但这不会影响/减少**排队**状态

根据定义,Queued状态表示查询已提交到服务,Athena将在资源可用时立即执行查询。这里的资源指的是雅典娜资源,不是你的


我认为对于这种排队状态,您无能为力。

是否查看了列出的官方性能调整提示?@Cascader是的,我是在阅读此文档的基础上构建的。查询在1-5秒内执行成功。我只需要在不等待队列的情况下加快查询执行速度。我想您也有类似的问题。在您的案例中,实际执行了多少查询?Athena是为分析查询而设计的。如果您有需要事务式并发的用例,请运行一个查询,将所需数据加载到RDS并查询RDS(将RDS替换为DynamoDB、ElasticSearch或任何其他相关数据存储)。根据AWS,服务限制允许您同时向Athena提交多达20个查询:“在您向Athena提交查询后,它将根据总体服务负载和传入请求的数量分配资源,从而处理查询。我们不断监控并调整服务,以便您的查询过程尽可能快。“因此无法保证有多少将并发执行。如果取消排队查询,会发生什么情况?”?我还为此收费吗?@Dror不,取消的查询只有在它们开始执行并扫描了一些数据时才收费,即使这样,您也只会根据它们已经扫描的数据收费。quote:“数据定义语言(DDL)语句(如CREATE/ALTER/DROP TABLE)、分区管理语句或失败的查询不收费。取消的查询将根据扫描的数据量收费。”