Hive 使用CLI创建带有粘合目录的EMR配置单元群集
我想使用AWS CLI创建EMR Hive群集,它将使用Glue作为数据目录。Hive 使用CLI创建带有粘合目录的EMR配置单元群集,hive,aws-cli,amazon-emr,aws-glue,Hive,Aws Cli,Amazon Emr,Aws Glue,我想使用AWS CLI创建EMR Hive群集,它将使用Glue作为数据目录。 我在其他地方没有找到任何与此相关的内容。 这可能吗?首先,我们创建一个命名的emr.json,指定AWS Glue数据目录作为配置单元的元存储: [ { "Classification": "hive-site", "Properties": { "hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.met
我在其他地方没有找到任何与此相关的内容。
这可能吗?首先,我们创建一个命名的emr.json,指定AWS Glue数据目录作为配置单元的元存储:
[
{
"Classification": "hive-site",
"Properties": {
"hive.metastore.client.factory.class": "com.amazonaws.glue.catalog.metastore.AWSGlueDataCatalogHiveClientFactory",
"hive.metastore.schema.verification": "false"
}
}
]
注意:在EMR版本5.28.0、5.28.1或5.29.0上,如果要使用AWS Glue数据目录作为元存储创建集群,我们将hive.metastore.schema.verification设置为false
最后,我们将配置分类文件与最终命令结合起来,如下所示:
aws emr create-cluster --name "syumaK-cluster" --configurations file://emr.json --release-label emr-5.28.0 --use-default-roles --applications Name=Hadoop Name=Spark Name=Hive Name=HUE --instance-groups InstanceGroupType=MASTER,InstanceCount=1,InstanceType=m1.medium InstanceGroupType=CORE,InstanceCount=2,InstanceType=m1.medium
答复:
{
"ClusterId": "j-2NZ6xxxxxx",
"ClusterArn": "arn:aws:elasticmapreduce:us-east-1:1925xxxxx:cluster/j-2NZ6xxxxxx"
}
希望这有帮助 谢谢!如果有人对Presto感兴趣,那么下面是所需的配置:[{“分类”:“Presto连接器配置单元”,“属性”:{“hive.metastore.glue.datacatalog.enabled”:“true”}]