Apache spark 有没有办法通过applicationID和链接的spark submit命令获取纱线日志？

我在亚马逊EMR上有大约400个纱线应用程序，分20批运行。大概是这样的：

序号20中i的

；是否提交火花-主纱线&；完成

我希望此过程完全自动化，因此希望以编程方式捕获任何故障日志。我知道，如果我们有applicationId，可以通过以下命令查看应用程序日志：

纱线原木-应用程序ID

但是，我无法找到将applicationId链接到相应spark submit命令的方法

假设上面（1.）中的命令一次向纱线提交20个

spark submit

作业，其中3个失败，我如何知道哪个

spark submit

命令失败？ 是否有一种方法可以通过编程方式检索（1.）中每个

spark submit

命令的applicationId，并利用（2.）获取相应的日志