Apache spark 运行ApacheSpark时，[Stage X:…]日志行来自何处？

我正试图准确地确定哪些记录器负责apache spark日志记录中的以下类型的行：

[Stage 5:======>                                                 (24 + 1) / 200]
[Stage 5:==========>                                             (38 + 1) / 200]
[Stage 5:==============>                                         (51 + 1) / 200]
[Stage 5:==================>                                     (66 + 1) / 200]
[Stage 5:======================>                                 (80 + 1) / 200]
[Stage 5:==========================>                             (95 + 1) / 200]

到目前为止，我已经在我的log4j2.xml中设置了以下内容，它已经关闭了很多，但上面的几行没有设置！=）

---

试试这个

spark.ui.showConsoleProgress=false

---

请检查此Spark记录单

尝试此

Spark.ui.showConsoleProgress=false

---

请检查此Spark记录单

我不想将所有日志记录设置为错误级别，因为此配置与我的应用程序的其他部分共享。但我不想将所有日志记录设置为错误级别，因为此配置与我的应用程序的其他部分共享。

    <AsyncLogger name="org.apache.spark" level="ERROR"/>
    <AsyncLogger name="akka" level="ERROR"/>
    <AsyncLogger name="org.spark-project" level="ERROR"/>
    <AsyncLogger name="org.apache.hadoop" level="ERROR"/>
    <AsyncLogger name="org.quartz" level="WARN"/>
    <AsyncLogger name="Remoting" level="ERROR"/>
    <AsyncLogger name="com.esotericsoftware" level="ERROR"/>
    <AsyncLogger name="com.databricks" level="ERROR"/>

 new JavaSparkContext(new SparkConf().set("spark.ui.showConsoleProgress", "false"))