Java 将pyspark数据帧输出重定向到日志文件

我正在用Python3.7IDE编写pyspark应用程序。因此，我的应用程序将提供数据帧。 我已将log4j属性配置如下

log4j.rootCategory=INFO, consoleAppender
log4j.appender.consoleAppender=org.apache.log4j.ConsoleAppender
log4j.appender.consoleAppender.target=System.out
log4j.appender.consoleAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.consoleAppender.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n
log4j.rootLogger=INFO, FILE
log4j.appender.FILE=org.apache.log4j.DailyRollingFileAppender
log4j.appender.FILE.File=C:/Users/Srihari Venkatesan/Desktop/logfile.log
log4j.appender.FILE.ImmediateFlush=true 
log4j.appender.FILE.Append=true
log4j.appender.FILE.DatePattern='.' yyyy-MM-dd
log4j.appender.FILE.layout=org.apache.log4j.PatternLayout
log4j.appender.FILE.layout.conversionPattern=%m%n

当我使用以下命令在终端中提交spark应用程序时

spark-submit pyspark.py>logfile.txt 2>&1

它正在创建两个文件，一个带有输出，另一个带有日志

有谁能帮助我使用shell脚本或spark submit将输出文件和日志文件重定向到单个文件中