Hadoop异常的计数器组太多

Hadoop异常的计数器组太多,hadoop,mapreduce,Hadoop,Mapreduce,我的错误: org.apache.hadoop.mapreduce.counters.LimitExceededException: Too many **counter groups**: 51 max=50 问题:我将最大计数器组设置为500,如类似问题的不同答案所示 <property> <name>mapreduce.job.counters.limit</name> <value>1000</value> </

我的错误:

org.apache.hadoop.mapreduce.counters.LimitExceededException:
Too many **counter groups**: 51 max=50
问题:我将最大计数器组设置为500,如类似问题的不同答案所示

<property>
  <name>mapreduce.job.counters.limit</name>
  <value>1000</value>
</property>

<property>
  <name>mapreduce.job.counters.groups.max</name>
  <value>500</value>
</property>

也许属性应该是
mapreduce.job.counters.max
,而不是
mapreduce.job.counters.limit
。我使用的是Hadoop版本2.9.2

<property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value>
</property>
<property>
    <name>mapreduce.job.counters.groups.max</name>
    <value>500</value>
</property>

mapreduce.job.counters.max
    1000
mapreduce.job.counters.groups.max
500
我在mapred-site.xml文件中使用了此配置,它对我很有效。

需要重新启动每个节点才能应用配置。

是否已在所有群集节点上的mapreduce.job.counters.groups.max中将mapreduce.job.counters.groups.max设置为500?还提供更多stacktrace,而不是单个错误行。有关stacktrace,请参阅上面的编辑。我的项目中没有mapred-site.xml。如果有帮助,这将在EMR上运行。
<property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value>
</property>
<property>
    <name>mapreduce.job.counters.groups.max</name>
    <value>500</value>
</property>