org.apache.hadoop.mapreduce.counters.LimitExceededException:计数器太多:121 max = 120

lix*_*nso 5 java apache hadoop mapreduce oozie

我正在运行一个hadoop工作(来自oozie),它有很少的计数器和多输出.

我得到的错误如:org.apache.hadoop.mapreduce.counters.LimitExceededException:太多计数器:121 max = 120

然后我删除了所有具有计数器的代码,并将mout.setCountersEnabled设置为false.并且还在hadoop配置中将最大计数器设置为240.

现在我仍然得到相同的错误org.apache.hadoop.mapreduce.counters.LimitExceededException:太多计数器:241 max = 240

我怎么解决这个问题?是否存在任何隐藏计数器的可能性?我怎样才能弄清楚那里的柜台超过240?(在我打印任何东西之前,这个过程看起来好像停了?)

谢谢,新松

小智 0

我明白了原因。因为是多输出,每个多输出默认都有一个计数器。我更改后有更多的多输出,因此出现超出错误。