Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/redis/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services AWS粘合目录作业上的MSCK修复命令_Amazon Web Services_Aws Glue - Fatal编程技术网

Amazon web services AWS粘合目录作业上的MSCK修复命令

Amazon web services AWS粘合目录作业上的MSCK修复命令,amazon-web-services,aws-glue,Amazon Web Services,Aws Glue,我们是否可以安排一个AWS Glue作业来执行MSCK修复命令,以便将新添加分区的元数据添加到Glue目录中 Glue ETL脚本可以在不调用Athena的情况下执行MSCK修复表命令吗?这是通过Glue爬虫实现的。如果创建爬虫程序,它将根据新字段更新表并添加新分区。您可以调用batch\u create\u partition()API来完成此操作。它不需要像MSCK修复表或重新爬网这样昂贵的操作。下面是我的详细答案和代码示例- 我已经迁移了Hive metastore表以粘合数据目录,因此这

我们是否可以安排一个AWS Glue作业来执行MSCK修复命令,以便将新添加分区的元数据添加到Glue目录中


Glue ETL脚本可以在不调用Athena的情况下执行MSCK修复表命令吗?

这是通过Glue爬虫实现的。如果创建爬虫程序,它将根据新字段更新表并添加新分区。

您可以调用batch\u create\u partition()API来完成此操作。它不需要像MSCK修复表或重新爬网这样昂贵的操作。下面是我的详细答案和代码示例-


我已经迁移了Hive metastore表以粘合数据目录,因此这些表具有不同的属性。当我运行爬虫程序时,它会使用添加的分区创建全新的表。