Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 为什么重新提交丢失的执行器上成功完成的任务?_Apache Spark - Fatal编程技术网

Apache spark 为什么重新提交丢失的执行器上成功完成的任务?

Apache spark 为什么重新提交丢失的执行器上成功完成的任务?,apache-spark,Apache Spark,任务中出现OutOfMemoryError,导致执行者被杀死。 将重新提交此执行者已成功完成的任务 因为由成功完成的任务创建的shuffle文件应该写在本地文件系统上。为什么要重新提交这些任务 编辑: 我们使用Ambari作为集群管理器,使用Thread作为资源管理器。 Spark中禁用了外部随机播放服务。 要重用洗牌文件,在executor退役后,您必须至少启用外部洗牌服务。否则,没有进程可以将文件实际提供给新生成的执行器 启用该功能所需遵循的步骤因经理而异,并在相应经理的官方指南中进行了描述

任务中出现OutOfMemoryError,导致执行者被杀死。 将重新提交此执行者已成功完成的任务

因为由成功完成的任务创建的shuffle文件应该写在本地文件系统上。为什么要重新提交这些任务

编辑: 我们使用Ambari作为集群管理器,使用Thread作为资源管理器。 Spark中禁用了外部随机播放服务。

要重用洗牌文件,在executor退役后,您必须至少启用外部洗牌服务。否则,没有进程可以将文件实际提供给新生成的执行器

启用该功能所需遵循的步骤因经理而异,并在相应经理的官方指南中进行了描述(,)


然而,外部洗牌服务依赖于对共享文件存储的访问,所以在容器化环境中可能无法很好地工作。您可以在和中了解有关此问题的更多信息。

什么群集管理器?您使用外部洗牌服务吗?DAG/执行计划是什么样的?您如何确定任务已重新提交?我编辑了我的问题,它似乎是由Spark中禁用的外部洗牌服务引起的。谢谢