Apache spark 如何处理ApacheSpark中的执行器故障

我已经使用spark submit运行了该作业，当时我们失去了executor，在某一点上我们可以恢复或不可以恢复，如果恢复我们将如何恢复，以及我们必须如何恢复该executor，那么您无法在应用程序中以编程方式处理executor故障，如果这是您的问题的话。 您可以配置指导实际作业执行的spark配置属性，包括Thread如何安排作业以及如何处理任务和执行器故障

您可能要签出的一些重要属性：

spark.task.maxFailures（默认值=4）：任何特定任务的失败次数 在放弃工作之前。故障扩散的总数 跨不同任务不会导致作业失败；特定的 任务必须失败此次数的尝试。应大于或等于 等于1。允许的重试次数=此值-1

spark.blacklist.application.maxFailedExecutorsPerNode（默认值=2）：（实验性） 有多少不同的执行人必须被列入整个项目的黑名单 应用程序，在节点被列入整个应用程序的黑名单之前 应用被列入黑名单的节点将自动添加回 在指定的超时之后的可用资源池 spark.blacklist.timeout。但请注意，对于动态分配， 节点上的执行器可能会被标记为空闲，并由 集群管理器

spark.blacklist.task.maxTaskAttemptsPerExecutor（默认值=1）：（实验性） 对于给定的任务，一个执行者可以重试多少次 在执行者被列入该任务的黑名单之前