Apache spark Spark应用程序以“退出”;错误根:EAP“5:缺少应用程序配置文件”;在spark上下文初始化之前

Apache spark Spark应用程序以“退出”;错误根:EAP“5:缺少应用程序配置文件”;在spark上下文初始化之前,apache-spark,hadoop,Apache Spark,Hadoop,我正在尝试使用以下spark submit命令执行spark作业- spark submit--类包.类名称--队列名称 --executor cores 2--主纱线--部署模式集群--执行器内存8G--num executors 20--驱动程序内存10G--配置“spark.Thread.executor.memoryOverhead=3G”--配置 “spark.projection=true”--conf“spark.network.timeout=600”--conf “spark.

我正在尝试使用以下spark submit命令执行spark作业-

spark submit--类包.类名称--队列名称 --executor cores 2--主纱线--部署模式集群--执行器内存8G--num executors 20--驱动程序内存10G--配置“spark.Thread.executor.memoryOverhead=3G”--配置 “spark.projection=true”--conf“spark.network.timeout=600”--conf “spark.rpc.askTimeout=600s”--conf “spark.executor.heartbeatInterval=120s”--conf “spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j spark.properties” --conf“spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j spark.properties” --conf“spark.serializer=org.apache.spark.serializer.KryoSerializer”--conf“spark.root.logger=ALL,console”--conf“spark.hadoop.validateOutputSpecs=false”--conf “spark.driver.extraClassPath=/home/tumulusr/spark defaults.conf” --文件/etc/spark2/2.6.4.0-91/0/hive site.xml、config/ibnext.properties、config/hive.properties、config/mongo.properties、config/error.properties /home/tumulusr/pn.jar

应用程序被接受,但很快就会退出,并出现以下错误:

错误根:EAP#5:缺少应用程序配置文件 信息应用程序管理员:最终应用程序状态:失败,退出代码:16,(原因:在报告最终状态之前调用了关机挂钩。) 信息ApplicationMaster:使用注销ApplicationMaster失败(diag消息:在报告最终状态之前调用了Shutdown hook。) 信息应用程序管理员:删除临时目录(具有应用程序id的目录路径) 信息ShutdownHookManager:调用了shutdownhook


我是否缺少spark submit命令?

能否尝试以下操作:

export SPARK_MAJOR_VERSION=2;export HADOOP_CONF_DIR=**/hadoop/conf/path**; spark-submit