Aws lambda 关于使用AWS Api网关/Lambda/Athena进行大型查询的建议

Aws lambda 关于使用AWS Api网关/Lambda/Athena进行大型查询的建议,aws-lambda,aws-api-gateway,amazon-athena,Aws Lambda,Aws Api Gateway,Amazon Athena,因此,目前我正在为大量大型数据集提供ODATA端点。表可能变得相当大,有些表也有很多列。我们允许我们的客户使用ODATA端点查询。目前一切正常,但大的结果似乎需要一段时间才能保存到S3 因此,当运行查询时,我可以消除查询执行,因为当我将结果保存到表中时,执行速度非常快。现在我已经做了一些检查,不幸的是,没有办法(据我所知)将结果压缩到S3或分割文件,以查看这是否加快了速度 我的问题是:有没有一个理想的方法来做到这一点?替代数据存储会更好吗?我们使用的是apigateway,因此超时时间限制为30

因此,目前我正在为大量大型数据集提供ODATA端点。表可能变得相当大,有些表也有很多列。我们允许我们的客户使用ODATA端点查询。目前一切正常,但大的结果似乎需要一段时间才能保存到S3

因此,当运行查询时,我可以消除查询执行,因为当我将结果保存到表中时,执行速度非常快。现在我已经做了一些检查,不幸的是,没有办法(据我所知)将结果压缩到S3或分割文件,以查看这是否加快了速度

我的问题是:有没有一个理想的方法来做到这一点?替代数据存储会更好吗?我们使用的是apigateway,因此超时时间限制为30秒。如果我们使用的数据存储区提供用于轮询的执行id,则会更好

欢迎任何建议,谢谢

编辑:我错了,我说lambda是指API网关有30秒的限制