Sql 如何在AWS Athena中通过脚本加载所有分区？

我有一个S3

bucket:S3://bucket name/year=2018/month=xx/day=xx/hour=xx/minute=xx。

相应地，我在AWS Athena表上有5个分区列（年、月、日、小时、分钟）

我想在10月份加载所有数据。我试图

ALTER TABLE table_name add partition (all 5 partitions)
location "s3://data/year=xx/month=xx/.......";

但是，我必须为所有分钟级分区编写这个“altertable”命令，这是不可能的

---

可以在AWS Athena中编写脚本来加载所有分区吗

可以使用MSCK REPAIR TABLE命令

首先，您需要创建一个类似于下面的表

CREATE EXTERNAL TABLE `example`(
col1 string,
col2 string)
PARTITIONED BY ( 
`year` int, `year` `month`,`day`,`hour`,`minute`)
ROW FORMAT DELIMITED 
FIELDS TERMINATED BY ',' 
STORED AS INPUTFORMAT 
'org.apache.hadoop.mapred.TextInputFormat' 
OUTPUTFORMAT 
'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
LOCATION
's3://data'

之后，您应该能够运行“MSCK REPAIR TABLE”命令

如果要继续使用“ALTERTABLEADDPARITION”命令，则需要创建自定义脚本。在这种情况下，通常是boto3或jdbc athena驱动程序：