相关疑难解决方法(0)

我该如何调试Hadoop map reduce

我试图建立一个地图减少工作.

它运行完成但最后会出现奇怪的数据.

当我尝试使用system.out.println("调试数据")调试它时,它不会显示在屏幕上.

使用java API生成外部日志文件,尝试使用log.severe("日志数据")或使用log4j logger方法log.info(日志数据)打印到屏幕上不能正常工作/

只有在地图缩减作业中出现异常时,我才能看到调试消息.

如何修复,以便我可以在文件或屏幕上看到我的调试消息?

java debugging logging hadoop mapreduce

6
推荐指数
1
解决办法
3万
查看次数

如何限制映射器的数量

我明确指定了我的java程序中使用的映射器数量conf.setNumMapTasks(),但是当作业结束时,计数器显示已启动的映射任务的数量超过了指定的值.如何将映射器的数量限制为指定值?

hadoop mapreduce

3
推荐指数
1
解决办法
1万
查看次数

标签 统计

hadoop ×2

mapreduce ×2

debugging ×1

java ×1

logging ×1