Apache spark 为什么重新提交丢失的执行器上成功完成的任务?
任务中出现OutOfMemoryError,导致执行者被杀死。 将重新提交此执行者已成功完成的任务 因为由成功完成的任务创建的shuffle文件应该写在本地文件系统上。为什么要重新提交这些任务 编辑: 我们使用Ambari作为集群管理器,使用Thread作为资源管理器。 Spark中禁用了外部随机播放服务。Apache spark 为什么重新提交丢失的执行器上成功完成的任务?,apache-spark,Apache Spark,任务中出现OutOfMemoryError,导致执行者被杀死。 将重新提交此执行者已成功完成的任务 因为由成功完成的任务创建的shuffle文件应该写在本地文件系统上。为什么要重新提交这些任务 编辑: 我们使用Ambari作为集群管理器,使用Thread作为资源管理器。 Spark中禁用了外部随机播放服务。 要重用洗牌文件,在executor退役后,您必须至少启用外部洗牌服务。否则,没有进程可以将文件实际提供给新生成的执行器 启用该功能所需遵循的步骤因经理而异,并在相应经理的官方指南中进行了描述
要重用洗牌文件,在executor退役后,您必须至少启用外部洗牌服务。否则,没有进程可以将文件实际提供给新生成的执行器 启用该功能所需遵循的步骤因经理而异,并在相应经理的官方指南中进行了描述(,)
然而,外部洗牌服务依赖于对共享文件存储的访问,所以在容器化环境中可能无法很好地工作。您可以在和中了解有关此问题的更多信息。什么群集管理器?您使用外部洗牌服务吗?DAG/执行计划是什么样的?您如何确定任务已重新提交?我编辑了我的问题,它似乎是由Spark中禁用的外部洗牌服务引起的。谢谢