如何关闭齐柏林飞艇Scala Spark日志并使用内联Scala代码调试消息？

我正在使用齐柏林飞艇笔记本运行Scala Spark代码。然而，齐柏林飞艇使得调试任何东西都变得困难，因为所有的信息和调试消息。它似乎主要来自“FIFOScheduler解释器” 例如：

我知道我应该能够调整log4j.properties.template来设置日志级别，但由于某些原因，我无法更改它。齐柏林飞艇是在apache生产的齐柏林飞艇docker中运行的，不知何故，我无法在其中编辑文件，因为没有安装文本编辑器，如果我尝试安装，我没有权限执行此操作……因此，让我们假设log4j.properties.template不是一个选项，因为这将提出一系列单独的问题

另外：这似乎是飞艇特有的，我从来没有见过这些带有火花壳的信息

所以问题可以归结为：我可以运行scala命令来抑制这个fifoscheduler的日志和调试消息吗

提前谢谢

07:40:07.476 [FIFOScheduler-interpreter_39964342-Worker-1] INFO org.apache.spark.sql.execution.datasources.InMemoryFileIndex - It took 43 ms to list leaf files for 1 paths.
07:40:07.479 [FIFOScheduler-interpreter_39964342-Worker-1] DEBUG org.apache.spark.util.ClosureCleaner - +++ Cleaning closure <function1> (org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$9) +++
07:40:07.480 [FIFOScheduler-interpreter_39964342-Worker-1] DEBUG org.apache.spark.util.ClosureCleaner -  + declared fields: 5
07:40:07.480 [FIFOScheduler-interpreter_39964342-Worker-1] DEBUG org.apache.spark.util.ClosureCleaner -      public static final long org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$9.serialVersionUID
07:40:07.480 [FIFOScheduler-interpreter_39964342-Worker-1] DEBUG org.apache.spark.util.ClosureCleaner -      private final boolean org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$9.assumeBinaryIsString$1
07:40:07.480 [FIFOScheduler-interpreter_39964342-Worker-1] DEBUG org.apache.spark.util.ClosureCleaner -      private final boolean org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat$$anonfun$9.assumeInt96IsTimestamp$1

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("akka").setLevel(Level.ERROR)
Logger.getRootLogger().setLevel(Level.ERROR)
spark.sparkContext.setLogLevel("ERROR")
sc.setLogLevel("ERROR")