Java 如何更改执行者的日志记录级别？

Spark执行器执行的所有类的默认日志记录级别似乎是

INFO

。我想根据需要将其更改为

调试

，或

警告

，等等

我正在使用Spark Streaming 1.3.1，但很快将切换到1.4

我在提交Spark流作业的shell脚本中有以下行：

export SPARK_JAVA_OPTS="-Dlog4j.configuration=file:./log4j.properties"

这允许我更改在驱动程序中运行的类的日志记录级别，而不是在执行器中

如何控制由执行器运行的类的日志记录

注意：我们不是用纱线跑步。我们将在EC2上启动我们自己的Spark cluster

---

注意：理想情况下，我们希望在流处理仍在运行时更改日志记录级别。如果这不可能，至少我们应该能够更改文件的某些属性。重新编译代码和重新部署不是一个选项。

tl；dr将

conf/log4j.properties

更改为适当的级别，并将文件分发给工作人员

提交spark应用程序时，您可能会很幸运地使用

--files

命令行选项

spark submit

。它允许您更改每个应用程序的日志记录级别。这只是一个猜测，因为我还没有试过