猪脚本可以被翻译成多个MR作业,我想知道是否有一个界面或方法来查看整个PIG脚本的进度,例如调度,执行了多少个作业等等.
我们在Twitter上遇到了同样的问题,因为我们的一些Pig脚本激活了几十个Map-Reduce工作,有时很难分辨出哪些是做什么的,有关计划效率的原因,了解有多少将并行运行,等等
所以我们创建了Twitter Ambrose:https://github.com/twitter/ambrose
它旋转了一个小码头服务器,它给你一个漂亮的web ui,显示作业DAG,在作业完成时为节点着色,给你关于作业的统计数据,并告诉你每个作业试图计算哪些关系.
| 归档时间： |
|
| 查看次数： |
2796 次 |
| 最近记录： |