Apache spark 从mesos代理的工作中获得清晰数据

我有一个spark cluster，它以Mesos作为资源管理器运行。当某些spark作业失败时，mesos代理节点中work_dir内的临时数据文件不会被删除。是否有任何配置可以自动清除mesos代理工作目录中的数据

沙箱生命周期 在以下情况下，计划对沙盒文件进行垃圾收集：

• 执行人被免职或终止
• 框架被移除
• 执行者在代理恢复期间恢复失败

注意：在代理恢复过程中，除 最近一次运行时，也计划进行垃圾回收

垃圾收集是基于

--gc\u delay

代理标志计划的。通过 默认情况下，这是沙箱上次修改后的一周。 延迟后，文件将被删除

此外，根据

--disk\u watch\u interval

代理标志，文件 计划进行垃圾收集的磁盘将根据可用磁盘和

--gc\u disk\u净空

代理标志。 请看这里的公式

---

工作目录中的主空间实际上是executors/runs/latest:stdout&stderr中的文件

如果执行者是永久性的，那么

gc\u delay

将不再工作。因为遗嘱执行人不会被终止或免职。因此，我们必须使用另一种方法—容器记录器

---

配置两个标志：

模块

和

容器记录器

。因此，当满足最大文件大小（默认为10M）时，将自动删除

stdout

和

stderr

谢谢！我想我在寻找完全相同的。因此，如果我想在失败的作业期间立即删除沙盒文件（即，当executor恢复失败时），配置--gc_delay=0（要配置的值到底是什么）是否足够正确，将

gc\u磁盘\u净空

设置为

1.0

或

gc\u延迟

设置为

0.0

您可能需要将

disk\u watch\u interval

更改为较小的值，但这可能会导致使用量增加。如果您想在任务完成后清理work_dir，您应该考虑处理它的自定义执行器。