Hive 如何配置本地安装的配置单元以使用Azure Datalake作为仓库?
我已经在本地windows系统中安装了Hive,我已经将其配置为使用MySQL作为元存储,并且我需要将其配置为使用Azure Data lake作为仓库。Hive 如何配置本地安装的配置单元以使用Azure Datalake作为仓库?,hive,azure-data-lake,Hive,Azure Data Lake,我已经在本地windows系统中安装了Hive,我已经将其配置为使用MySQL作为元存储,并且我需要将其配置为使用Azure Data lake作为仓库。 如何配置配置单元以使用Azure Datalake作为仓库?这不是Azure Datalake支持的用例。Azure Data Lake是一个基于云的数据湖,目前支持HDInsight、Azure Data Lake Analytics或Azure Databricks作为其计算引擎。它无法连接到本地运行的Hive实例。这是可能的,但您必须相
如何配置配置单元以使用Azure Datalake作为仓库?这不是Azure Datalake支持的用例。Azure Data Lake是一个基于云的数据湖,目前支持HDInsight、Azure Data Lake Analytics或Azure Databricks作为其计算引擎。它无法连接到本地运行的Hive实例。这是可能的,但您必须相应地配置本地hadoop系统。 确保您拥有最新的ADLS LIB,并修改cores-site.xml以访问Azure Data Lake存储:
<configuration>
<property>
<name>dfs.adls.oauth2.access.token.provider.type</name>
<value>ClientCredential</value>
</property>
<property>
<name>dfs.adls.oauth2.refresh.url</name>
<value>YOUR TOKEN ENDPOINT</value>
</property>
<property>
<name>dfs.adls.oauth2.client.id</name>
<value>YOUR CLIENT ID</value>
</property>
<property>
<name>dfs.adls.oauth2.credential</name>
<value>YOUR CLIENT SECRET</value>
</property>
<property>
<name>fs.adl.impl</name>
<value>org.apache.hadoop.fs.adl.AdlFileSystem</value>
</property>
<property>
<name>fs.AbstractFileSystem.adl.impl</name>
<value>org.apache.hadoop.fs.adl.Adl</value>
</property>
</configuration>
dfs.adls.oauth2.access.token.provider.type
客户凭证
dfs.adls.oauth2.refresh.url
您的令牌端点
dfs.adls.oauth2.client.id
您的客户ID
dfs.adls.oauth2.credential
你的客户秘密
fs.adl.impl
org.apache.hadoop.fs.adl.AdlFileSystem
fs.AbstractFileSystem.adl.impl
org.apache.hadoop.fs.adl.adl
可以找到一个分步指南
最后,确保在hive-site.xml中,您的“hive.metastore.warehouse.dir”指向ADL