Hive 使用CLI创建带有粘合目录的EMR配置单元群集

Hive 使用CLI创建带有粘合目录的EMR配置单元群集,hive,aws-cli,amazon-emr,aws-glue,Hive,Aws Cli,Amazon Emr,Aws Glue,我想使用AWS CLI创建EMR Hive群集,它将使用Glue作为数据目录。 我在其他地方没有找到任何与此相关的内容。 这可能吗?首先,我们创建一个命名的emr.json,指定AWS Glue数据目录作为配置单元的元存储: [ { "Classification": "hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.met

我想使用AWS CLI创建EMR Hive群集,它将使用Glue作为数据目录。
我在其他地方没有找到任何与此相关的内容。
这可能吗?

首先,我们创建一个命名的emr.json,指定AWS Glue数据目录作为配置单元的元存储:

[
  {
    "Classification": "hive-site",
    "Properties": {
      "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
      "hive.metastore.schema.verification": "false"
    }
  }
]
注意:在EMR版本5.28.0、5.28.1或5.29.0上,如果要使用AWS Glue数据目录作为元存储创建集群,我们将hive.metastore.schema.verification设置为false

最后,我们将配置分类文件与最终命令结合起来,如下所示:

aws emr create-cluster --name "syumaK-cluster" --configurations file://emr.json --release-label emr-5.28.0 --use-default-roles --applications Name=Hadoop Name=Spark Name=Hive Name=HUE --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m1.medium InstanceGroupType=CORE,InstanceCount=2,InstanceType=m1.medium
答复:

{
    "ClusterId": "j-2NZ6xxxxxx", 
    "ClusterArn": "arn:aws:elasticmapreduce:us-east-1:1925xxxxx:cluster/j-2NZ6xxxxxx"
}

希望这有帮助

谢谢!如果有人对Presto感兴趣,那么下面是所需的配置:[{“分类”:“Presto连接器配置单元”,“属性”:{“hive.metastore.glue.datacatalog.enabled”:“true”}]