Hadoop 为什么oozie hive2操作失败?

Hadoop 为什么oozie hive2操作失败?,hadoop,hive,hdfs,kerberos,oozie,Hadoop,Hive,Hdfs,Kerberos,Oozie,我们正在将现有(生产CDH 5.8群集)oozie+hive2作业迁移到新的CDH 5.8群集。不幸的是,hive2操作在迁移后失败,出现以下错误 错误:无法使用JDBC Uri打开客户端传输: jdbc:hive2://xxxxx.yyy.net:10000/default:Peer指示的故障: DIGEST-MD5:获取\密码时发生IO错误(状态=08S01,代码=0) 有人能帮我理解以下错误消息的原因吗?在某些环境中,默认的配置单元Kerberos委派令牌存储方法可能导致Oozie Hiv

我们正在将现有(生产CDH 5.8群集)oozie+hive2作业迁移到新的CDH 5.8群集。不幸的是,hive2操作在迁移后失败,出现以下错误

错误:无法使用JDBC Uri打开客户端传输: jdbc:hive2://xxxxx.yyy.net:10000/default:Peer指示的故障: DIGEST-MD5:获取\密码时发生IO错误(状态=08S01,代码=0)


有人能帮我理解以下错误消息的原因吗?

在某些环境中,默认的配置单元Kerberos委派令牌存储方法可能导致Oozie HiveServer2操作失败。Cloudera建议使用org.apache.hadoop.hive.thrift.ZooKeeperTokenStore,或连接到负载平衡器后面的单个HiveServer2实例,以避免此连接失败

当使用负载平衡器前端的多个HiveServer2实例时,Oozie Hive2操作可以启动连接并在第一个HiveServer2上获取委派令牌,然后由于负载平衡,在进行查询时获取到下一个HiveServer2的另一个连接。这会导致第二个连接失败

对于HiveMetaStore HA,建议使用DBTokenStore而不是ZookePertokenStore,以便更好地支持对HiveMetaStore的大量请求。对于HiveServer2 HA,使用ZookePertokenStore,直到DBTokenStore在使用HIVE-12270的CDH中变得稳定为止

CM>Hive>Configuration>HiveServer2 Hive-site.xml的高级配置代码段(安全阀),然后输入:

<property>
  <name>hive.cluster.delegation.token.store.class</name>     
  <value>org.apache.hadoop.hive.thrift.ZooKeeperTokenStore</value>
</property>
<property> 
  <name>hive.cluster.delegation.token.store.class</name>
  <value>org.apache.hadoop.hive.thrift.DBTokenStore</value>  </property>

hive.cluster.delegation.token.store.class
org.apache.hadoop.hive.thrift.ZooKeeperTokenStore
CM>Hive>Configuration>Hive-site.xml的Hive Metastore服务器高级配置代码段(安全阀),然后输入:

<property>
  <name>hive.cluster.delegation.token.store.class</name>     
  <value>org.apache.hadoop.hive.thrift.ZooKeeperTokenStore</value>
</property>
<property> 
  <name>hive.cluster.delegation.token.store.class</name>
  <value>org.apache.hadoop.hive.thrift.DBTokenStore</value>  </property>

hive.cluster.delegation.token.store.class
org.apache.hadoop.hive.thrift.DBTokenStore

(如果您已将“Hive Metastore委派令牌存储”设置为“org.apache.hadoop.Hive.thrift.DBTokenStore”,则此选项是可选的)

Hive.server2.use.SSL已禁用,并且我们的群集已通过KERBEROS身份验证。您认为该属性仍然有效吗?为
hive.server2.thrift.sasl.qop
设置的值是多少?参数本身在配置文件中不存在。您可以将其与
auth conf
的值一起添加吗?当然,我们将尝试另外一点,即现有集群负载平衡器未启用,但新的集群负载平衡器具有负载平衡器。