Apache spark 如何执行MSCK修复表以仅加载特定分区

Apache spark 如何执行MSCK修复表以仅加载特定分区,apache-spark,hive,Apache Spark,Hive,我在AWS S3中有超过2个月的数据,这些数据按日期进行分区和存储。我想开始使用我创建的外部表来使用数据 目前,我只看到几个分区,我希望确保我的元数据能够拾取所有分区。登录到EMR集群的主节点后,我尝试使用msck修复表tablename使用hive。但是,可能是由于数据量的原因,执行该命令需要花费大量时间 我可以做msck修复表,以便我只能加载特定的一天吗?msck允许加载特定分区吗?您可以使用 ALTER TABLE table_name ADD [IF NOT EXISTS] PARTIT

我在AWS S3中有超过2个月的数据,这些数据按
日期进行分区和存储。我想开始使用我创建的外部表来使用数据

目前,我只看到几个分区,我希望确保我的元数据能够拾取所有分区。登录到EMR集群的主节点后,我尝试使用
msck修复表tablename
使用
hive
。但是,可能是由于数据量的原因,执行该命令需要花费大量时间

我可以做msck修复表,以便我只能加载特定的一天吗?
msck
允许加载特定分区吗?

您可以使用

ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCATION 'location'][, PARTITION partition_spec [LOCATION 'location'], ...];
…如文件中所述