Apache spark Can'；我看不到Spark gc日志

我使用以下方式提交了我的jar文件：

spark-submit \
--class Hello \
--master spark://master:7077  \
--num-executors 6 \
--conf spark.executor.extraJavaOptions="-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+UseCompressedOops" \
first.jar 

您可以看到，我按照官方文档中的建议添加了

-verbose:gc-XX:+PrintGCDetails-XX:+PrintGCTimeStamps-XX:+UseCompressedOops

部分。然而，当我在web UI中查看从属的

stdout

和

stderr

时，我看不到任何关于垃圾收集的信息

是log4j设置阻止显示gc日志吗？我的spark的

conf

目录中只有

log4j.properties.template

文件

有什么不对的建议吗？谢谢。

根据-GC日志写入：

$SPARK\u HOME/work/$app\u id/$executor\u id/stdout

尝试使用此页面上建议的设置配置您的spark应用程序，并查看其是否按预期工作

根据-GC日志被写入：

$SPARK\u HOME/work/$app\u id/$executor\u id/stdout

---

尝试使用此页面上建议的设置配置您的spark应用程序，并查看其是否按预期工作

当您在环境下查看Spark UI时，是否看到这些标志？是的，我可以在环境选项卡中看到这些标志，我还检查了“退出”登录从属，我可以看到从属正在开始使用这些标志。所以我真的很执着于此，整个互联网只包含关于如何使用gc信息优化spark的帖子…或者你在spark Executor日志中看到了什么？你看到正常的Spark内容了吗？是的，这完全是正常的Spark内容。lilke

16/09/23 21:18:43信息广播。TorrentBroadcast:开始读取广播变量24/09/23 21:18:43信息内存。内存存储：阻止广播。\u 24\u…

奇怪，我更改了Spark版本，我的jar文件遇到了严重的内存问题，现在spark正在显示gc日志。我想知道这可能与缓冲区导致的日志延迟有关？当您查看环境下的Spark UI时，是否看到这些标志？是的，我可以在环境选项卡中看到这些标志，我还检查了“退出”登录从机，我可以看到从机开始使用这些标志。所以我真的很执着于此，整个互联网只包含关于如何使用gc信息优化spark的帖子…或者你在spark Executor日志中看到了什么？你看到正常的Spark内容了吗？是的，这完全是正常的Spark内容。lilke

16/09/23 21:18:43信息广播。TorrentBroadcast:开始读取广播变量24/09/23 21:18:43信息内存。内存存储：阻止广播。\u 24\u…

奇怪，我更改了Spark版本，我的jar文件遇到了严重的内存问题，现在spark正在显示gc日志。我想知道这可能和缓冲区引起的日志延迟有关吗？