Apache spark EMR火花流作业标准日志记录消失

当我在EMR（群集模式）上启动我的spark流媒体作业时，我可以在开始的几分钟内看到作业中的stdout，然后它就消失了

我可以在S3中的以下位置看到几行日志（我设置EMR将日志复制到我的S3存储桶中）： s3-us-west-1.amazonaws.com//spark/logs/j-IEMN2TMESREK/containers/application_1454718762107_0001/container_1454718762107_0001_01_00001/stdout.gz

流作业运行约10秒后，不再向日志发送标准输出

---

EMR是否将stdout重定向到其他地方？

结果表明，我的执行器没有得到log4j配置

我使用引导步骤将log4j.properties放置在

/tmp/log4jproperty

中

然后使用带有以下参数的

spark submit

--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=/tmp/log4j.properties
--档案file:///tmp/log4j.properties