Apache spark 尽管作业成功，但有些纱线日志在纱线UI中不可见

我有一个Spark应用程序，它在Thread上运行，有时我会看到一些应用程序的日志没有显示在Thread UI中。我看到日志聚合诊断告诉我，日志聚合在两个节点中成功完成，但在第三个节点中没有启动。但是当我点击日志时，它是空的。 我在资源管理器日志中看到以下消息：

INFO  resourcemanager.RMAppManager - Max number of completed apps kept in state store met: maxCompletedAppsInStateStore = 1000, removing app <app_id> from state store.

Remote Root Log Dir [/app-logs] already exist, but with incorrect permissions. Expected: [rwxrwxrwt], Found: [rwxrwxrwx]. The cluster may have problems with multiple users.

同样，我不确定这是否会导致问题，因为我只看到一些日志丢失，而不是所有日志

My Thread-site.xml文件具有以下相关属性集：

<property>
      <name>yarn.resourcemanager.max-completed-applications</name>
      <value>1000</value>
</property>

<property>
      <name>yarn.log-aggregation-enable</name>
      <value>true</value>
</property>

<property>
      <name>yarn.log-aggregation.retain-seconds</name>
      <value>604800</value>
</property>

<property>
      <name>yarn.nodemanager.log.retain-seconds</name>
      <value>604800</value>
</property>

<property>
      <name>yarn.nodemanager.remote-app-log-dir</name>
      <value>/app-logs</value>
</property>

<property>
      <name>yarn.resourcemanager.max-completed-applications</name>
      <value>1000</value>
</property>

warn.resourcemanager.max-completed-applications
1000
warn.log-aggregation-enable
真的
纱线.log-aggregation.retain-seconds
604800
warn.nodemanager.log.retain-seconds
604800
warn.nodemanager.remote-app-log-dir
/应用程序日志
warn.resourcemanager.max-completed-applications
1000

如果我尝试从集群内部运行

warn logs-applicationId

命令，我会看到一条消息，说RM中不存在具有应用程序id的应用程序。这使我更加重视之前关于从RM状态存储中删除应用程序的消息，因为它会影响最大的应用程序数，但我只是想确认这是否也是从远程存储中删除日志的原因，因为从RM中删除与远程存储的关系并不是非常直观的。如有任何意见，将不胜感激。谢谢