Apache spark spark.worker.cleanup不起作用，未删除日志

我希望定期清理存储在SPARK集群${SPARK_HOME}/logs中的日志文件（1个master+4个worker）。 spark日志的默认日志目录应该是${spark\u HOME}/logs，因为我没有在spark env中配置spark\u log\u目录，所以所有日志都存储在那里

为了测试它，我在一个worker节点中添加了下面的conf（spark.worker.cleanup.enabled）

export SPARK\u WORKER\u OPTS=“-Dspark.WORKER.cleanup.enabled=true -Dspark.worker.cleanup.interval=300-Dspark.worker.cleanup.appDataTtl=300“

然后执行stop-slave.sh停止工作节点，并使用start-slave.sh启动工作节点。 但是${SPARK_HOME}/logs中的那些日志文件在配置的间隔时间之后不会被删除

---

我想知道我做得对吗？还是要做更多的事？我还将spark.worker.cleanup conf放在主节点的spark-env.sh中。我也没有看到任何影响。

我想我有点搞不清楚该清理哪个文件夹。在spark文档中，它提到spark.worker.cleanup.enabled是唯一的cleanup worker“APPLICATION”目录

我们的应用程序目录位于“spark-2.3.3-bin-hadoop2.7/work”，并且该目录已被清理

---

因此，在更改spark-env.sh之后，请停止从属，然后再次启动从属。一切正常。

我想我对清理哪个文件夹有点困惑。在spark文档中，它提到spark.worker.cleanup.enabled是唯一的cleanup worker“APPLICATION”目录

我们的应用程序目录位于“spark-2.3.3-bin-hadoop2.7/work”，并且该目录已被清理

---

因此，在更改spark-env.sh之后，请停止从属，然后再次启动从属。一切正常。

您是否尝试在工作进程使用的

spark defaults.conf

中设置这些属性？也就是说，在工作节点上，在

$SPARK_HOME/conf/

下，注意工作进程本身的日志不会被清除，只有SPARK作业的输出才会被清除（假设您没有更改Log4J默认值，即转储为StdOut/StdErr，并让Worker将这些转储捕获到日志文件中）。对于工作日志，您可以通过Log4JHi配置一些“日志轮换”，我有多个应用程序在同一个spark集群上运行，因此每个应用程序都有自己的sparkconf和log4j配置。但是现在我想为特定于集群而不是以应用程序为中心的集群设置清理。我没有更改工作节点中的spark-default.conf，我需要这样做才能使清理工作正常吗？如果工作进程实际拾取了环境变量，则在环境变量中设置的属性应覆盖在

默认值中设置的属性。这完全取决于如何设置环境，以及如何启动辅助进程。关于env变量的Spark文档是否与代码库一致（我有时会怀疑）。祝您好运。您是否尝试在辅助进程使用的
spark defaults.conf
中设置这些属性？也就是说，在工作节点上，在
$SPARK_HOME/conf/
下，注意工作进程本身的日志不会被清除，只有SPARK作业的输出才会被清除（假设您没有更改Log4J默认值，即转储为StdOut/StdErr，并让Worker将这些转储捕获到日志文件中）。对于工作日志，您可以通过Log4JHi配置一些“日志轮换”，我有多个应用程序在同一个spark集群上运行，因此每个应用程序都有自己的sparkconf和log4j配置。但是现在我想为特定于集群而不是以应用程序为中心的集群设置清理。我没有更改工作节点中的spark-default.conf，我需要这样做才能使清理工作正常吗？如果工作进程实际拾取了环境变量，则在环境变量中设置的属性应覆盖在
默认值中设置的属性。这完全取决于如何设置环境，以及如何启动辅助进程。关于env变量的Spark文档是否与代码库一致（我有时会怀疑）。祝你好运