Apache spark Spark作业错误:未能续订令牌:种类:时间线\u委派\u令牌

Apache spark Spark作业错误:未能续订令牌:种类:时间线\u委派\u令牌,apache-spark,kerberos,kerberos-delegation,Apache Spark,Kerberos,Kerberos Delegation,我正在提交一个spark,它将使用以下命令写入Kerborized集群。我没有在spark程序中添加任何代码来启用身份验证等功能。我刚刚用spark submit通过了principal和keytab。 但我收到“无法续订令牌”错误。我的spark程序可以连接到hive metastore 我能知道这是什么原因吗 > ./spark-submit --class com.abcd.xyz.voice.cc.cc.cc --verbose --master > yarn --deplo

我正在提交一个spark,它将使用以下命令写入Kerborized集群。我没有在spark程序中添加任何代码来启用身份验证等功能。我刚刚用spark submit通过了principal和keytab。 但我收到“无法续订令牌”错误。我的spark程序可以连接到hive metastore

我能知道这是什么原因吗

> ./spark-submit --class com.abcd.xyz.voice.cc.cc.cc --verbose --master
> yarn --deploy-mode cluster --executor-cores 6 --executor-memory 6g
> --driver-java-options "-Dlog4j.configuration=file:/app/home/abcd/conf/my_Driver.log4j" 
> --principal myowner@CABLE.abcd.COM --keytab /app/home/emm/myfile.keytab --conf
> "spark.executor.extraJavaOptions=-Dlog4j.configuration=file:/app/home/emm/conf/my_Executor.log4j
> -Ddm.logging.name=LegalDemand" /app/home/emm/bin/myjar.jar --files file:///app/home/emm/mykeytab.keytab --conf
> spark.hadoop.fs.hdfs.impl.disable.cache=true
> /app/home/emm/conf/my.properties
17/07/11 18:02:42信息。客户: 客户端令牌:不适用 诊断:无法续订令牌:种类:TIMELINE_DELEGATION_令牌,服务:172.27.30.133:8188,标识: (所有者=我的所有者,续订者=纱线,真实用户=,发行日期=1499796160528, maxDate=1500400960528,sequenceNumber=74505,masterKeyId=294) ApplicationMaster主机:不适用 ApplicationMaster RPC端口:-1 队列:默认值 开始时间:1499796160725 最终状态:失败 跟踪URL: 用户:myowner


我们是否可以知道(a)您正在使用的Spark版本,(b)在出现错误之前作业可以运行多长时间,以及(c)AppMaster for
应用程序(u 149969758613_1727
)的线程日志中是否有有趣的错误消息?版本为2.0.2(Apache Spark).我发现的东西很少1)17/07/11 20:11:15信息蜂巢。元存储:已连接到元存储。2) 17/07/11 20:13:25 INFO spark.SecurityManager:SecurityManager:authentication disabled;ui ACL被禁用;具有查看权限的用户:Set(emm,myuser);具有查看权限的组:Set();具有修改权限的用户:Set(emm,myuser);具有修改权限的组:Set()我也收到了此消息。17/07/11 20:10:50信息安全。UserGroupInformation:用户登录成功myuser@CABLE.abcd.COM使用keytab文件/app/home/emm/myuser.keytab上述文件来自spark日志。未记录纱线应用程序。我发现..无法读取应用程序的尝试。我们是否可以知道(a)您正在使用的Spark版本,(b)在该错误之前作业可以运行多长时间,以及(c)应用程序的AppMaster的纱线日志中是否有有趣的错误消息(Apache Spark)。我发现的东西很少有1)17/07/11 20:11:15信息蜂巢。元存储:连接到元存储。2) 17/07/11 20:13:25 INFO spark.SecurityManager:SecurityManager:authentication disabled;ui ACL被禁用;具有查看权限的用户:Set(emm,myuser);具有查看权限的组:Set();具有修改权限的用户:Set(emm,myuser);具有修改权限的组:Set()我也收到了此消息。17/07/11 20:10:50信息安全。UserGroupInformation:用户登录成功myuser@CABLE.abcd.COM使用keytab文件/app/home/emm/myuser.keytab上述文件来自spark日志。未记录纱线应用程序。我发现..未能读取应用程序的尝试。\u 149967586013\u 1867。