映射阶段的进度速率(LATE调度程序) - Hadoop

Question

我试图找出地图任务的进度.如果有人可以帮助我,那将是伟大的!谢谢 !!

Answer 1

我们有两种方法可以监控Map和Reduce在工作中的进度.

第一个是Web界面.

http://pdhadoop1:50030pdhadoop1你的namenode机器在哪里.

另一方面是从作业驱动程序内部,可以输出到控制台(或其他地方)提交作业后,我们进入while循环并检查job.isComplete().我们在循环内部

System.out.println(String.format("Progress of Page views ETL Job %s:", job.getJobID().toString()));
System.out.println(String.format("\tMap : %f, Reduce %F", job.mapProgress(), job.reduceProgress()));

然后我们Thread.sleep(60000)和循环继续前进,直到作业完成.

通过这两种方法,我可以观察地图的进度并减少作业的组成部分.

Web界面允许查看日志和其他有用信息.计数器,记录,字节...一个非常好的功能.

我希望有所帮助.:)

编辑:此Wiki页面http://wiki.apache.org/hadoop/WebApp_URLs列出了这些URL

Job Tracker可以在http:// localhost:50030找到
.任务跟踪器可以在http:// localhost:50060找到
NameNode/Filesystem/log浏览器可以在http:// localhost:50070找到
SecondaryNameNode可以是发现于http:// localhost:50090

我认为 localhost依赖于你想要查看的URL.我没有玩过所有这些,我一般只用50030和50070; 我指向我的名字节点.