Hadoop计数器大小有限制.它默认为120.我尝试使用配置"mapreduce.job.counters.limit"来改变它,但它不起作用.我见过源代码.这就像"org.apache.hadoop.mapred.Counters"类中的JobConf实例是私有的.以前有人见过吗？你的解决方案是什么？谢谢 :)
我正在运行一个hadoop工作(来自oozie),它有很少的计数器和多输出.
我得到的错误如:org.apache.hadoop.mapreduce.counters.LimitExceededException:太多计数器:121 max = 120
然后我删除了所有具有计数器的代码,并将mout.setCountersEnabled设置为false.并且还在hadoop配置中将最大计数器设置为240.
现在我仍然得到相同的错误org.apache.hadoop.mapreduce.counters.LimitExceededException:太多计数器:241 max = 240
我怎么解决这个问题？是否存在任何隐藏计数器的可能性？我怎样才能弄清楚那里的柜台超过240？(在我打印任何东西之前,这个过程看起来好像停了？)
谢谢,新松