Hadoop异常的计数器组太多
我的错误:Hadoop异常的计数器组太多,hadoop,mapreduce,Hadoop,Mapreduce,我的错误: org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many **counter groups**: 51 max=50 问题:我将最大计数器组设置为500,如类似问题的不同答案所示 <property> <name>mapreduce.job.counters.limit</name> <value>1000</value> </
org.apache.hadoop.mapreduce.counters.LimitExceededException:
Too many **counter groups**: 51 max=50
问题:我将最大计数器组设置为500,如类似问题的不同答案所示
<property>
<name>mapreduce.job.counters.limit</name>
<value>1000</value>
</property>
<property>
<name>mapreduce.job.counters.groups.max</name>
<value>500</value>
</property>
也许属性应该是
mapreduce.job.counters.max
,而不是mapreduce.job.counters.limit
。我使用的是Hadoop版本2.9.2
<property>
<name>mapreduce.job.counters.max</name>
<value>1000</value>
</property>
<property>
<name>mapreduce.job.counters.groups.max</name>
<value>500</value>
</property>
mapreduce.job.counters.max
1000
mapreduce.job.counters.groups.max
500
我在mapred-site.xml文件中使用了此配置,它对我很有效。需要重新启动每个节点才能应用配置。是否已在所有群集节点上的mapreduce.job.counters.groups.max中将mapreduce.job.counters.groups.max设置为500?还提供更多stacktrace,而不是单个错误行。有关stacktrace,请参阅上面的编辑。我的项目中没有mapred-site.xml。如果有帮助,这将在EMR上运行。
<property>
<name>mapreduce.job.counters.max</name>
<value>1000</value>
</property>
<property>
<name>mapreduce.job.counters.groups.max</name>
<value>500</value>
</property>