Apache spark 如何限制Spark作业失败时的重试次数？

我们正在通过

Spark submit

运行Spark作业，我可以看到在失败的情况下将重新提交作业

如果纱线容器出现故障或任何异常情况，我如何阻止其尝试#2

---

这是由于内存不足和“超出了GC开销限制”问题造成的。

将属性

warn.resourcemanager.am.max-threads

添加到您的warn-default.xml文件中。它指定应用程序尝试的最大次数

---

有关更多详细信息，请查看此

有两种设置可控制重试次数（即，

ApplicationMaster

与纱线的注册尝试的最大次数被视为失败，因此整个Spark应用程序失败）：

• spark.Thread.maxAppAttempts

  -spark自己的设置。见：

• warn.resourcemanager.am.max尝试次数

  -warn自己的设置，默认值为2

---

（如中所示）实际数量是纱线和火花的最小配置设置，纱线是最后的选择。

API/编程语言不可知的解决方案是将纱线最大尝试次数设置为命令行参数：

spark-submit --conf spark.yarn.maxAppAttempts=1 <application_name>

---

spark submit--conf spark.thread.maxAppAttempts=1
但一般情况下，在集群或队列太忙的情况下，它会失败一次并在第二次恢复
我正在使用oozie coordinators运行作业-我正在考虑将其设置为
1
-如果失败，它将在下一次具体化时运行-
，因为我们似乎可以使用任一选项将最大尝试次数设置为1（因为使用了最小值），其中一个选项比另一个更可取，或者将两者都设置为1会是更好的做法吗？@EvilTeach链接已修复。如果您还需要其他帮助，请告诉我。谢谢你！
spark-submit --conf spark.yarn.maxAppAttempts=1 <application_name>