Logging 使用log4j从spark记录到hdfs，无水槽

我在CDH5.3集群上有一个spark 1.2.0

由于jar中绑定了一个定制的log4j.properties文件，我成功地将spark应用程序日志保存到本地文件系统中。在以纱线客户机模式启动spark之前，这是正常的，但在纱线簇模式下不可行，因为无法知道驱动程序在哪台机器上运行

我查看了纱线日志聚合器，查看了以h

dfs://nameservice1/user/spark/applicationHistory/application_1444387971657_0470/*

这与普通文件系统上的文件完全不匹配，但信息是这样的

{"Event":"SparkListenerTaskEnd","Stage ID":1314,"Stage Attempt ID":0,"Task Type":"ResultTask","Task End Reason":{"Reason":"Success"},"Task Info":{"Task ID":3120,"Index":1,"Attempt":0,"Launch Time":1445512311024,"Executor ID":"3","Host":"usqrtpl5328.internal.unicreditgroup.eu","Locality":"RACK_LOCAL","Speculative":false,"Getting Result Time":0,"Finish Time":1445512311685,"Failed":false,"Accumulables":[]},"Task Metrics":{"Host Name":"usqrtpl5328.internal.unicreditgroup.eu","Executor Deserialize Time":5,"Executor Run Time":652,"Result Size":1768,"JVM GC Time":243,"Result Serialization Time":0,"Memory Bytes Spilled":0,"Disk Bytes Spilled":0,"Shuffle Read Metrics":{"Remote Blocks Fetched":26,"Local Blocks Fetched":10,"Fetch Wait Time":0,"Remote Bytes Read":16224},"Output Metrics":{"Data Write Method":"Hadoop","Bytes Written":82983}}}

现在，有没有一种方法可以记录所有我想要记录的内容

欢迎提出任何建议

编辑 当我把我的东西贴出来时，我已经看到了。它不能解决我的问题，因为我需要登录到HDFS，而这并没有被考虑在内

---

我甚至不知道是否可以直接用log4j登录到HDFS，如果您对如何编写log4j.properties有任何想法，请分享

应该会有帮助，谢谢您我已经看到了这个问题，请查看我的editsOh，很抱歉错过了HDFS point.np，您可以标记这个问题还没有答案吗？德克萨斯州