Apache spark 禁用Spark作业的应用程序报告

Apache spark 禁用Spark作业的应用程序报告,apache-spark,yarn,emr,Apache Spark,Yarn,Emr,当我提交Spark作业(在AWS-EMR上)时,控制台上有很多“信息日志”: 2017年2月15日19:44:46信息。客户:申请书的申请报告_145519203517_0006(状态:已接受) 2017年2月15日19:44:47信息。客户:应用程序的应用报告_145519203517_0006(状态:运行) : 有没有办法禁用这些“信息”?谢谢 另一个选项是在安装时使用“-l loglevel”参数。看 或者,如果您以交互方式使用Spark shell或sql,只需将stderr重定向到

当我提交Spark作业(在AWS-EMR上)时,控制台上有很多“信息日志”:


2017年2月15日19:44:46信息。客户:申请书的申请报告_145519203517_0006(状态:已接受)

2017年2月15日19:44:47信息。客户:应用程序的应用报告_145519203517_0006(状态:运行)

:



有没有办法禁用这些“信息”?谢谢

另一个选项是在安装时使用“-l loglevel”参数。看


或者,如果您以交互方式使用Spark shell或sql,只需将stderr重定向到其他位置(MASTER=warn client~/Spark/bin/Spark shell 2>/tmp/stderr.log)

启动spark shell时,我一直在收到这条信息。事实证明,其中一个节点管理器位于错误的角色组中,其允许内存低于spark shell请求的内存(纱线模式)。所以Spark在等待一种纱线无法满足的资源

import org.apache.log4j.Logger
import org.apache.log4j.Level
Logger.getLogger("org").setLevel(Level.ERROR)
Logger.getLogger("akka").setLevel(Level.ERROR)