Amazon s3 AWS S3-插入带扣ORC工作台_Amazon S3_Amazon Athena_Orc

Amazon s3 AWS S3-插入带扣ORC工作台

amazon-s3

Amazon s3 AWS S3-插入带扣ORC工作台,amazon-s3,amazon-athena,orc,Amazon S3,Amazon Athena,Orc,我正在考虑以ORC格式S3存储数据，以便使用Athena进行查询我想像这样对数据进行分区 .../year=2019/month=7/ 。。。并按id进一步记录数据（每个id每个月都有多个记录，有很多id）我希望能够插入新的数据到这个结构每天。。。我知道我不能使用雅典娜的INSERT-INTO语句，因为不支持带扣的表格每天向这种结构的表中插入数据的最佳方式是什么？甚至有可能处理带扣的数据吗 CheersPresto允许插入带扣分区表的现有分区。如果Athena不支持这一点，您可以非常轻松

我正在考虑以

ORC格式S3
存储数据，以便使用Athena
进行查询
我想像这样对数据进行分区
.../year=2019/month=7/

。。。并按id进一步记录数据（每个id
每个月都有多个记录，有很多id）
我希望能够插入新的数据到这个结构每天。。。我知道我不能使用雅典娜的INSERT-INTO
语句，因为不支持带扣的表格
每天向这种结构的表中插入数据的最佳方式是什么？甚至有可能处理带扣的数据吗
Cheers
Presto允许插入带扣分区表的现有分区。如果Athena不支持这一点，您可以非常轻松地自己运行一个Presto群集，例如使用（我也可以出于其他原因推荐这一点，因为如果您运行的不仅仅是几个查询，它可能比使用Athena便宜得多。免责声明：我来自Starburst）
感谢您的评论Piotr。。。我将此作为一种选择，因为成本是一个重要因素，这可能是一条可行之路