Hadoop spark2壳体中的Log4j
我正在通过Hadoop spark2壳体中的Log4j,hadoop,apache-spark,apache-spark-sql,spark-streaming,bigdata,Hadoop,Apache Spark,Apache Spark Sql,Spark Streaming,Bigdata,我正在通过spark2 shell-I选项运行一个spark脚本 我想将生成的日志重定向到使用log4j框架的文件中 我用来运行的命令: spark2-shell --master yarn --deploy-mode client -i audit.scala --conf spark.driver.args="PROD sample.txt" --files /bigdata/datalakes/app/log/log4j.properties#log4j.properties --conf
spark2 shell-I
选项运行一个spark脚本
我想将生成的日志重定向到使用log4j框架的文件中
我用来运行的命令:
spark2-shell --master yarn --deploy-mode client -i audit.scala --conf spark.driver.args="PROD sample.txt" --files /bigdata/datalakes/app/log/log4j.properties#log4j.properties --conf spark.driver.extraJavaOptions='-Dlog4j.configuration=file:/bigdata/datalakes/app/log/log4j.properties'
这是/bigdata/datalakes/app/log/log4j.properties
的内容:
# Root logger option
log4j.rootLogger=INFO, file
# Direct log messages to a log file
log4j.appender.file=org.apache.log4j.RollingFileAppender
#Redirect to Tomcat logs folder
#log4j.appender.file.File=/bigdata/datalakes/app/log/spark.log
log4j.appender.file.File=/bigdata/datalakes/app/log/spark.log
log4j.appender.file.MaxFileSize=10MB
log4j.appender.file.MaxBackupIndex=10
log4j.appender.file.layout=org.apache.log4j.PatternLayout
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n
您可以将此作为配置选项提供给spark
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/bigdata/datalakes/app/log/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/bigdata/datalakes/app/log/log4j.properties"
希望这有帮助
干杯 您可以将此作为配置选项提供给spark
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/bigdata/datalakes/app/log/log4j.properties"
--conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=/bigdata/datalakes/app/log/log4j.properties"
希望这有帮助
干杯 使用此配置,日志也显示在控制台上。使用此配置,日志也显示在控制台上。