Hadoop NameNode堆使用率和ResourceManager堆使用率之间的差异(尝试查找NameNode堆使用率的原因)?

Hadoop NameNode堆使用率和ResourceManager堆使用率之间的差异(尝试查找NameNode堆使用率的原因)?,hadoop,resourcemanager,namenode,Hadoop,Resourcemanager,Namenode,NameNode堆使用率和ResourceManager堆使用率之间有什么区别?我正在试图找到NameNode堆使用量过大的原因 在ambari仪表板中,我看到。。。 当运行一些sqoop作业时。不确定是什么原因导致NN使用率如此之高(没有太多hadoop管理经验)?这是一个不寻常的数量(只是最近才注意到) 此外,在mapreduce任务100%完成后,sqoop作业似乎被冻结,原因是时间比平常长,例如,看到 [2020-01-31 14:00:55193]信息mapreduce.JobSub

NameNode堆使用率和ResourceManager堆使用率之间有什么区别?我正在试图找到NameNode堆使用量过大的原因

在ambari仪表板中,我看到。。。

当运行一些sqoop作业时。不确定是什么原因导致NN使用率如此之高(没有太多hadoop管理经验)?这是一个不寻常的数量(只是最近才注意到)

此外,在mapreduce任务100%完成后,sqoop作业似乎被冻结,原因是时间比平常长,例如,看到

[2020-01-31 14:00:55193]信息mapreduce.JobSubmitter:拆分数:12
[2020-01-31 14:00:55402]信息mapreduce.JobSubmitter:为作业提交令牌:job_15796488118_1085
[2020-01-31 14:00:55402]信息mapreduce.JobSubmitter:使用令牌执行:[]
[2020-01-31 14:00:55687]信息配置:在文件:/etc/hadoop/3.1.0.0-78/0/resource-types.xml中找到resource-resource-types.xml
[2020-01-31 14:00:55784]信息建议:提交的申请
[2020-01-31 14:00:55837]mapreduce.作业:跟踪作业的url:http://hw001.ucera.local:8088/proxy/application_1579648183118_1085/
[2020-01-31 14:00:55837]mapreduce.作业:运行作业:作业
[2020-01-31 14:01:02964]mapreduce.作业:作业作业在uber模式下运行:false
地图还原作业:地图0%还原0%
地图还原。作业:地图8%还原0%
地图还原。作业:地图17%还原0%
地图还原作业:地图25%还原0%
地图还原作业:地图33%还原0%
地图还原作业:地图42%还原0%
地图还原作业:地图50%还原0%
地图还原作业:地图58%还原0%
地图还原作业:地图67%还原0%
地图还原作业:地图75%还原0%
地图还原作业:地图83%还原0%
地图还原作业:地图92%还原0%
[2020-01-31 14:06:00534]信息地图还原。作业:地图100%还原0%
[2020-01-31 14:10:05446]信息mapreduce.作业:作业成功完成
我的hadoop版本

[airflow@airflowetl root]$ hadoop version
Hadoop 3.1.1.3.1.0.0-78
Source code repository git@github.com:hortonworks/hadoop.git -r e4f82af51faec922b4804d0232a637422ec29e64
Compiled by jenkins on 2018-12-06T12:26Z
Compiled with protoc 2.5.0
From source with checksum eab9fa2a6aa38c6362c66d8df75774
This command was run using /usr/hdp/3.1.0.0-78/hadoop/hadoop-common-3.1.1.3.1.0.0-78.jar

有更多hadoop经验的人知道这里会发生什么吗?任何调试建议?

名称节点堆主要由存储在HDFS中的文件块的数量决定。特别是,许多小文件或同时写入的许多文件会导致大堆

ResourceManager与namenode不相关。它的堆将取决于正在积极跟踪的纱线作业的数量

在我维护的集群中,namenode堆是32G,我认为ResourceManager只有8GB