Python 在S3上为QuickSight创建带有嵌套JSON文件的数据管道

Python 在S3上为QuickSight创建带有嵌套JSON文件的数据管道,python,json,amazon-s3,aws-glue,amazon-athena,Python,Json,Amazon S3,Aws Glue,Amazon Athena,我想使用位于S3 for QuickSight上的JSON文件中的数据在AWS Athena上创建一些表。JSON文件每天都按照YYYY/MM/DD等文件夹路径规则生成 我查阅了AWS文档并尝试了一些教程。如果json数据不是嵌套的,这似乎并不困难,但在我的案例中,它们是嵌套的 我想知道如何使用AWS解决方案(如Athena和Glue)展平JSON数据并将数据存储到表中的最佳实践。我的目标是在QuickSight上显示数据,所以我认为雅典娜是一个不错的选择 我已经创建了表模式。这种管道有什么好的

我想使用位于S3 for QuickSight上的JSON文件中的数据在AWS Athena上创建一些表。JSON文件每天都按照YYYY/MM/DD等文件夹路径规则生成

我查阅了AWS文档并尝试了一些教程。如果json数据不是嵌套的,这似乎并不困难,但在我的案例中,它们是嵌套的

我想知道如何使用AWS解决方案(如Athena和Glue)展平JSON数据并将数据存储到表中的最佳实践。我的目标是在QuickSight上显示数据,所以我认为雅典娜是一个不错的选择

我已经创建了表模式。这种管道有什么好的做法吗?

检查一下。您也可以利用分区,但文件夹结构不是键值格式,您可以使用Glue crawler填充分区,或者使用alter table add PARTITITIONS并给出locationcheck。您还可以利用分区,但文件夹结构不是键值格式,您可以使用Glue crawler填充分区,也可以使用alter table add partitions并给出位置