Hadoop 纱线：纱线-site.xml更改不生效

我们有一个spark streaming应用程序在HDFS 2.7.3上运行，其中Thread作为资源管理器…同时运行该应用程序。。这两个文件夹

/tmp/hadoop/data/nm-local-dir/filecache

/tmp/hadoop/data/nm-local-dir/filecache

正在填充，因此磁盘

因此，根据我的研究发现，在warn-site.xml中配置这两个属性将有所帮助

<property>
        <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
        <value>2000</value>
</property>

<property>
         <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
         <value>2048</value>
</property>

纱线.nodemanager.localizer.cache.cleanup.interval-ms
2000
warn.nodemanager.localizer.cache.target-size-mb
2048

我已经在每个namenode和masternode上配置了它们..并在masternode上重新启动了Thread..但似乎仍然没有帮助…请告诉我是否缺少任何东西…在进行配置更改时…这是Thread-site.xml

<!-- Site specific YARN configuration properties -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hdfs-name-node</value>
</property>

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>6</value>
</property>

<property>
    <name>yarn.scheduler.maximum-allocation-mb</name>
    <value>16384</value>
</property>

<property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>file:///tmp/hadoop/data/nm-local-dir</value>
</property>

<property>
    <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
    <value>2000</value>
</property>

<property>
     <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
     <value>2048</value>
</property>

</configuration>

纱线.节点管理器.辅助服务
mapreduce_shuffle
warn.resourcemanager.hostname
hdfs名称节点
warn.nodemanager.resource.memory-mb
16384
纱线.nodemanager.resource.cpu-vcores
6.
warn.scheduler.maximum-allocation-mb
16384
纱线.nodemanager.local-dirs
file:///tmp/hadoop/data/nm-local-dir
纱线.nodemanager.localizer.cache.cleanup.interval-ms
2000
warn.nodemanager.localizer.cache.target-size-mb
2048

更新：我尝试使用此属性，但仍无法清理，磁盘已满

<property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache</value>
   </property>

纱线.nodemanager.local-dirs
file:///tmp/hadoop/data/nm-local-dir,file:///tmp/hadoop/data/nm-local-dir/filecache,file:///tmp/hadoop/data/nm-local-dir/usercache

您说“/tmp/hadoop/data/nm local dir/filecache”文件夹已满，因此应定期清理

但是您为清理指定的参数，特别是“Thread.nodemanager.localizer.cache.cleanup.interval ms”和“Thread.nodemanager.localizer.cache.target size mb”适用于“/tmp/hadoop/data/nm local dir/filecache”，但“Thread.nodemanager.local dirs”的值file:///tmp/hadoop/data/nm-local-dir“不包括路径中的“文件缓存”。修复该值file:///tmp/hadoop/data/nm-local-dir“到”file:///tmp/hadoop/data/nm-local-dir/filecache“

您说文件夹“/tmp/hadoop/data/nm local dir/filecache”正在填充，因此应该定期清理

但是您为清理指定的参数，特别是“Thread.nodemanager.localizer.cache.cleanup.interval ms”和“Thread.nodemanager.localizer.cache.target size mb”适用于“/tmp/hadoop/data/nm local dir/filecache”，但“Thread.nodemanager.local dirs”的值file:///tmp/hadoop/data/nm-local-dir“不包括”文件缓存“在路径中。修复值”file:///tmp/hadoop/data/nm-local-dir“到”file:///tmp/hadoop/data/nm-local-dir/filecache“