Java spark提交作业日志跟踪

我在纱线模式下运行spark作业。 我使用spark submit在Unix shell脚本中运行作业。 我想将spark submit命令logs on Unix文件夹保存在日志文件中

我试过了

spark-submit --master yarn --deploy-mode client --num-executors 10 --executor-memory 2G --driver-memory 2G --jars $spark_jars --class $spark_class  $main_jar |& tee -a ${log_file}

使用tee命令。然后我检查上述命令的状态为

if [ $? -eq 0 ]; then
    echo "===========SPARK JOB COMPLETED==================" |& tee -a ${log_file}
else
    echo "===========SPARK JOB FAILED=====================" |& tee -a ${log_file}
fi

但如果spark作业由于某些问题或异常而失败，$？不要正确捕捉错误，而是我已完成spark作业

请任何人提出处理这个问题的建议方法

---

我的要求是在文件中包含spark日志和Unix脚本日志

监视应用程序状态的最佳方法是使用RESTAPI

您可以对日志使用纱线日志命令，也可以对日志使用纱线api

---

纱线日志-所有者“dr.who”-applicationId application_1409421698529_0012 | less

监控应用程序状态的最佳方法是使用纱线rest api

您可以对日志使用纱线日志命令，也可以对日志使用纱线api

纱线原木-所有者“dr.who”-application ID application_1409421698529_0012 |以下