Apache spark Spark&x2B；哨兵+；Kerberos:org.apache.hadoop.security.UserGroupInformation.doAs（）

获取以下错误堆栈：

无法在群集中创建Spark会话： 位于org.apache.hadoop.security.UserGroupInformation.doAs（UserGroupInformation.java:1671） 位于org.apache.spark.deploy.SparkSubmit$.doRunMain$1（SparkSubmit.scala:160） 位于org.apache.spark.deploy.SparkSubmit$.submit（SparkSubmit.scala:205） 位于org.apache.spark.deploy.SparkSubmit$.main（SparkSubmit.scala:120） 位于org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）） 位于org.apache.hadoop.hive.metastore.HiveMetaStoreClient.open（HiveMetaStoreClient.java:466） 位于org.apache.hadoop.hive.metastore.HiveMetaStoreClient。（HiveMetaStoreClient.java:234） 位于org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient。（SessionHiveMetaStoreClient.java:74） ... 35多

我的理解是，应该启用hive.server2.enable.impersonation和hive.server2.enable.doAs以使UserGroupInformation.doAs（）正常工作

当我尝试启用这些参数时，Cloudera Manager显示错误

已为配置单元服务器2角色“HiveServer2”启用配置单元模拟 （主机名）“。应禁用配置单元模拟以启用配置单元 使用哨兵的授权

所以火花蜂巢和哨兵发生冲突了

环境：色调3.9 Spark笔记本+Livy服务器（由master构建）。cdh5.5

这是一个带哨兵的煤田集群

我使用的是色调的keytab，因为色调用户通常（在CDH中默认）可以模拟其他用户。 所以对于Spark笔记本来说非常方便

---

任何有助于解决此问题的信息都将受到高度赞赏。

这两个LIVY jiras与此问题相关：