Apache spark 禁用特定应用程序Spark中的信息消息

我曾尝试在特定应用程序中禁用Spark中的信息消息，但我做不到，我仍然看到它

我尝试的代码来自这里：（）

我还在Spark installation dir中编辑了log4j文件，其中包括：

log4j.rootCategory=WARN, console

成功了！但这不是我想要的解决方案。。。我想禁用来自每个应用程序的信息消息

有什么评论吗？谢谢

您必须执行以下操作：

import org.apache.log4j.Logger
import org.apache.log4j.Level

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)

之前创建SparkContext
这样做：

Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("akka").setLevel(Level.OFF)
val sc = new SparkContext(conf)

此外，您还可以使用

getRootLogger

方法：

Logger.getRootLogger().setLevel(Level.ERROR)

---

谢谢，你说得对，两种方法都有效！只是，请在“这样做”之后编辑代码：“把val。。。最后一行，正如你所说：）是的，那是我的错）谢谢。在创建SparkContext之前，有没有类似的方法来禁用pyspark登录？

Logger.getRootLogger().setLevel(Level.ERROR)