Amazon web services AWS粘合目录作业上的MSCK修复命令
我们是否可以安排一个AWS Glue作业来执行MSCK修复命令,以便将新添加分区的元数据添加到Glue目录中Amazon web services AWS粘合目录作业上的MSCK修复命令,amazon-web-services,aws-glue,Amazon Web Services,Aws Glue,我们是否可以安排一个AWS Glue作业来执行MSCK修复命令,以便将新添加分区的元数据添加到Glue目录中 Glue ETL脚本可以在不调用Athena的情况下执行MSCK修复表命令吗?这是通过Glue爬虫实现的。如果创建爬虫程序,它将根据新字段更新表并添加新分区。您可以调用batch\u create\u partition()API来完成此操作。它不需要像MSCK修复表或重新爬网这样昂贵的操作。下面是我的详细答案和代码示例- 我已经迁移了Hive metastore表以粘合数据目录,因此这
Glue ETL脚本可以在不调用Athena的情况下执行MSCK修复表命令吗?这是通过Glue爬虫实现的。如果创建爬虫程序,它将根据新字段更新表并添加新分区。您可以调用batch\u create\u partition()API来完成此操作。它不需要像MSCK修复表或重新爬网这样昂贵的操作。下面是我的详细答案和代码示例-
我已经迁移了Hive metastore表以粘合数据目录,因此这些表具有不同的属性。当我运行爬虫程序时,它会使用添加的分区创建全新的表。