如何在Dataproc集群中为Hive 2.1.0启用LLAP?

如何在Dataproc集群中为Hive 2.1.0启用LLAP?,hive,google-cloud-dataproc,Hive,Google Cloud Dataproc,我正在尝试为Hive2.1.0设置LLAP(交互式查询),它与Google Cloud Dataproc一起提供。我已经启用了Tez作为执行引擎,但是我找不到任何文档/步骤来启用LLAP以使Hive更快。大多数可用的是Hortonworks群集,这是通过Ambari完成的。我认为您可以在创建群集时按照添加以下属性 --properties 'hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.q

我正在尝试为Hive2.1.0设置LLAP(交互式查询),它与Google Cloud Dataproc一起提供。我已经启用了Tez作为执行引擎,但是我找不到任何文档/步骤来启用LLAP以使Hive更快。大多数可用的是Hortonworks群集,这是通过Ambari完成的。

我认为您可以在创建群集时按照添加以下属性

--properties 'hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.queries=<n>,...'
--属性的配置单元:hive.llap.execution.mode=,配置单元:hive.server2.llap.concurrent.querys=,…'

请注意,“配置单元:”前缀对于Dataproc将属性垂直定位到配置单元是必需的。

根据本文档,以及


gcloud dataproc群集创建配置单元群集\
--作用域sql管理\
--图像版本1.3\
--初始化操作gs://dataproc初始化操作/cloud-sql-proxy/cloud-sql-proxy.sh\
--属性的配置单元:hive.metastore.warehouse.dir=gs://$PROJECT warehouse/dataset,配置单元:hive.llap.execution.mode=,配置单元:hive.server2.llap.concurrent.querys=\
--元数据“配置单元元存储实例=:”
如果需要设置任何配置单元配置(hive site.xml),只需在属性中添加配置单元:xxx



gcloud dataproc clusters create hive-cluster \
    --scopes sql-admin \
    --image-version 1.3 \
    --initialization-actions gs://dataproc-initialization-actions/cloud-sql-proxy/cloud-sql-proxy.sh \
    --properties 'hive:hive.metastore.warehouse.dir=gs://$PROJECT-warehouse/datasets,hive:hive.llap.execution.mode=<mode>,hive:hive.server2.llap.concurrent.queries=<n>' \
    --metadata "hive-metastore-instance=<PROJECT_ID>:<REGION>:<INSTANCE_NAME>"