为什么Hadoop map reduce作业中允许的计数器数量有限制？

Question

当我尝试以编程方式创建许多作业计数器时,我正在使用Hadoop map-reduce并得到一个CountersExceededException.我知道我可以增加配置文件允许的计数器数量,但有人知道:

a)为什么map-reduce计数器有限制

和

b)如果增加map-reduce计数器的最大数量是好/坏的想法？

我正在使用hadoop 0.20.2

Answer 1

请参阅这篇文章中有关计数器的部分。

柜台

计数器代表全局计数器，由 Map/Reduce 框架或应用程序定义。应用程序可以定义任意计数器并在映射和/或归约方法中更新它们。然后，框架对这些计数器进行全局聚合。

计数器适合跟踪少量但重要的全局信息。它们绝对不是为了聚合非常细粒度的应用程序统计数据。计数器非常昂贵，因为 JobTracker 必须在应用程序的整个持续时间内维护每个 Map/Reduce 任务的每个计数器。