Python 如何在Pyspark中捕获日志级错误和警告？

我曾尝试将日志级别设置为

error

或

warn

，但想知道如何捕获这两个级别

我试过Pypark

sc.setLogLevel("ERROR")
sc.setLogLevel("WARN")

在

Debug

中，我得到了很多额外的信息，而

info

或

default

也是如此，

---

如果有人能为仅获取错误和警告提供更好的解决方案，我们将不胜感激。

如果您将其设置为

WARN

，它也将捕获

错误

它是一个分层的日志级结构


ERROR
在层次结构中高于
WARN
，因此如果
LogLevel
设置为
ERROR
，则
WARN
日志将被忽略。
但是由于
WARN
在层次结构中低于
ERROR
，并且您将
LogLevel
设置为
WARN
，因此它也将显示
ERROR
日志