Apache spark 使用群集模式时无法访问配置单元表
我已启用kerbores Cloudera群集。使用客户端部署模式时,Spark可以访问配置单元表 我执行kinit命令,然后执行spark2 submit。使用客户端模式时,Spark可以访问配置单元表Apache spark 使用群集模式时无法访问配置单元表,apache-spark,hive,kerberos,cloudera,cloudera-cdh,Apache Spark,Hive,Kerberos,Cloudera,Cloudera Cdh,我已启用kerbores Cloudera群集。使用客户端部署模式时,Spark可以访问配置单元表 我执行kinit命令,然后执行spark2 submit。使用客户端模式时,Spark可以访问配置单元表 spark2-submit --master yarn --deploy-mode client --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM --conf "spark.driver.extraJavaOption
spark2-submit --master yarn --deploy-mode client --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar
但当我使用集群模式时,spark给出了TableNotFound错误
spark2-submit --master yarn --deploy-mode cluster --keytab XXXXXXXXXX.keytab --principal XXXXXXXXXXX@USER.COM --conf "spark.driver.extraJavaOptions=-XX:+UseG1GC -XX:MaxPermSize=1024M -Djava.security.krb5.conf=/etc/krb5.conf" test.jar
在spark.hadoop.hive.Metastore.uris
中直接或使用spark.warn.dist.files
指定到hive-site.xml的路径,请参见>注入元存储地址的可能重复项