Java Spark应用程序和日志记录MDC(映射的诊断上下文)
我正在寻找一种方法,将我的驱动程序的MDC转发给master和workers,这样我就可以识别来自同一操作的消息了?例如,我有一个依赖于应用程序的查询/作业id,我希望将其附加到spark workers中的结构化日志消息中Java Spark应用程序和日志记录MDC(映射的诊断上下文),java,apache-spark,log4j2,mdc,Java,Apache Spark,Log4j2,Mdc,我正在寻找一种方法,将我的驱动程序的MDC转发给master和workers,这样我就可以识别来自同一操作的消息了?例如,我有一个依赖于应用程序的查询/作业id,我希望将其附加到spark workers中的结构化日志消息中 不可能 无证的 很容易,但我是哑巴找的 问候。如果我理解正确(我是Spark新手),那么自版本 现在应该可以通过spark.sparkContext.setLocalProperty(“MDC.+name,“value”)向MDC添加自定义条目了。您是否都找到了答案?不
- 不可能
- 无证的
- 很容易,但我是哑巴找的
现在应该可以通过
spark.sparkContext.setLocalProperty(“MDC.+name,“value”)
向MDC添加自定义条目了。您是否都找到了答案?不幸的是,没有。