Scala 使用Oozie启动Spark作业失败(错误度量系统)

Scala 使用Oozie启动Spark作业失败(错误度量系统),scala,apache-spark,oozie,spark-submit,Scala,Apache Spark,Oozie,Spark Submit,我有一个spark jar,我用spark submit启动它,它工作得很好(读取文件、生成RDD、存储在hdfs中)。然而,当我试图在Oozie作业中启动同一个jar时,(Oozie:spark action)spark作业失败 当我查看日志时,显示的第一个错误是: 错误度量系统:接收器类 无法实例化org.apache.spark.metrics.sink.MetricsServlet 此外,当我开始使用spark脚本时,我发现问题与saveAsText函数有关。当我在没有给HDFS写信的情

我有一个spark jar,我用spark submit启动它,它工作得很好(读取文件、生成RDD、存储在hdfs中)。然而,当我试图在Oozie作业中启动同一个jar时,(Oozie:spark action)spark作业失败

当我查看日志时,显示的第一个错误是:

错误度量系统:接收器类 无法实例化org.apache.spark.metrics.sink.MetricsServlet

此外,当我开始使用spark脚本时,我发现问题与saveAsText函数有关。当我在没有给HDFS写信的情况下完成同样的spark工作时,整个工作流程运行良好


有什么建议吗?

问题出在我执行oozie工作的俱乐部那一边

我需要在工作流程中明确添加参数,原因很简单,因为没有考虑这些参数:


--队列HQ_IBNF--conf“spark.executor.extraJavaOptions=-Djava.library.path=/opt/application/Hadoop/current/lib/native”

您使用的是哪个oozie操作?我使用的是