Apache spark 正在停止在工作文件夹中创建Spark jar

我正在独立集群上运行spark kafka流媒体应用程序

正在将应用程序jar复制到正在写入stdout和stderr文件的文件夹“work”。jar将被复制到所有正在使用的节点，并且在终止应用程序后不会被删除

有人能告诉我在应用程序运行完成后如何摆脱这个jar吗？是否有任何参数阻止复制此jar

有人能告诉我在完成这项工作后如何处理这个罐子吗 应用程序运行

是的，您可以通过标志

spark.Worker.cleanup.enabled

在每个工作节点中启用：

启用工作程序/应用程序目录的定期清理。注意 这只影响独立模式，因为纱线的工作方式不同。只有 已停止应用程序的目录已清理

还有其他用于调整应用程序清理时间的属性：

• spark.worker.cleanup.interval

  ：控制工作程序清除本地计算机上旧应用程序工作目录的时间间隔（以秒为单位）

• spark.worker.cleanup.appDataTtl

  ：在每个worker上保留应用程序工作目录的秒数。这是一个生存的时期，应该取决于可用磁盘空间的大小。应用程序日志和JAR下载到每个应用程序工作目录。随着时间的推移，工作目录会很快填满磁盘空间，特别是在您非常频繁地运行作业的情况下

是否有任何参数阻止复制此jar

---

不，这个罐子是必需的。它包含运行应用程序所需的代码。否则，工作节点将如何执行在图形中创建的代码？您必须使此代码可供群集中的所有工作人员使用，Spark代表您分发此代码以允许使用。

此标志似乎仅在应用程序停止时才起作用。但是，对于不象spark Kafka流媒体应用程序那样停止的应用程序呢？