在hadoop Map-Reduce中,如何知道map的任务结束或filesplit的结束

jus*_*ugh 2 hadoop mapreduce cloudera

hadoop中的map任务适用于输入文件的64/128 MB分割.它从输入分割的第一行开始处理直到结束.我需要找出如何知道地图任务何时完成处理其输入拆分.换句话说,在洗牌和排序开始之前.hadoop库中有什么方法可以回答我的问题吗?

小智 5

类的cleanup方法Mapper允许您在映射器处理输入拆分时执行代码,只需覆盖它,就像覆盖map方法一样.

如果这不是你想要的,也许一个Counter可以解决你的问题?