Apache spark Spark对worker中的每个任务都有不同的日志

是否可以在单个辅助进程中为任务使用不同的日志文件？ 现在，我在worker中获得同一文件中的所有日志（用于不同的任务）

---

我使用的是spark standalone，日志目录位于spark_HOME/work

您可以通过

spark env.sh

配置文件为每个工作人员配置

spark_WORKER_DIR

。通过更改此设置，默认情况下将更改日志的输出位置

有关更多信息，请参阅