Apache Hadoop JobTracker内存使用量增加v
当我打开jobtrackerhost:50030/jobtracker.jsp时 我可以看到堆大小如下: 群集摘要堆大小为1.17 GB/7.99 GB 它还在继续增加。3-5天后,生长至高峰 我们有两个Hadoop集群。 在集群A上,堆大小在峰值附近停止增加。 在集群B上,堆大小继续增加,3-5天后,jobtracker停止。这个过程已经过去了 现在我真想知道为什么堆的大小继续增加?这是正常的还是一个问题 谢谢,Apache Hadoop JobTracker内存使用量增加v,apache,hadoop,mapreduce,bigdata,data-analysis,Apache,Hadoop,Mapreduce,Bigdata,Data Analysis,当我打开jobtrackerhost:50030/jobtracker.jsp时 我可以看到堆大小如下: 群集摘要堆大小为1.17 GB/7.99 GB 它还在继续增加。3-5天后,生长至高峰 我们有两个Hadoop集群。 在集群A上,堆大小在峰值附近停止增加。 在集群B上,堆大小继续增加,3-5天后,jobtracker停止。这个过程已经过去了 现在我真想知道为什么堆的大小继续增加?这是正常的还是一个问题 谢谢, 新松@vefthym,我认为mapred-site.xml文件不完整,因为had
新松@vefthym,我认为mapred-site.xml文件不完整,因为hadoop集群由Cloudera Manager管理 以下是mapred-site.xml中的内容
<?xml version="1.0" encoding="UTF-8"?>
<!--Autogenerated by Cloudera CM on 2013-07-01T01:39:46.361Z-->
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://xxxx.com:8020</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>65536</value>
</property>
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.DeflateCodec,org.apache.hadoop.io.compress.SnappyCodec,org.apache.hadoop.io.compress.Lz4Codec</value>
</property>
<property>
<name>hadoop.security.authentication</name>
<value>simple</value>
</property>
<property>
<name>hadoop.rpc.protection</name>
<value>authentication</value>
</property>
<property>
<name>hadoop.security.auth_to_local</name>
<value>DEFAULT</value>
</property>
</configuration>
有正在运行的作业吗?请提供群集详细信息机器、每台机器的RAM、每台机器的核心数以及$HADOOP_HOME/confHi@vefthym中存在的mapred-site.xml文件,有作业持续运行,但大多数作业将在几分钟~1小时内结束,HADOOP中有10台机器,RAM为16G,CPU为4个核心,