Hadoop 如何在Spark2中启用spark.history.fs.cleaner？

我的Spark2和spark配置都有

spark.history.fs.cleaner.enabled=true

。它用于保持/spark历史记录/干净，但对/spark2历史记录却无能为力。有没有想过为什么它不起作用

spark.history.fs.cleaner.enabled

spark属性控制定期清理磁盘上事件日志的任务

您的问题是

spark.history.fs.cleaner=enabled

，因此我认为问题在于

=

字符

---

---

另一个

spark.history.fs.cleaner.interval

spark属性（使用

1d

默认值）控制清洁器检查要删除的事件日志的频率。确保足够频繁。

这真的是

spark.history.fs.cleaner=enabled

（使用

=

）吗？它应该是

spark.history.fs.cleaner.enabled=true

。你是怎么设置的？对不起，是打字错误。密钥是spark.history.fs.cleaner.enabled。该值为真。如何检查该值是否已打开？@JacekLaskowski进入ambari，查看它是否设置为“已启用”，这只是一个输入错误。原来的问题仍然存在。我的时间间隔设置为1d。最大年龄7天。它似乎对/spark2历史记录/文件夹内容没有影响。