Ara*_*ram 5 hadoop mapreduce cloudera hortonworks-data-platform
使用map reduce作业队列的真实世界用例是什么,即mapred.job.queue.name属性值.我default总是看到被用作价值.
jav*_*evg 15
mapred.job.queue.name是您用于将作业分配给特定队列的方法.默认情况下,所有作业都将转到"默认"队列.但是,可以创建分层队列.像root,root.q1,root.q1.q1a等.这些队列中的每一个都可以拥有自己的一组属性,以确保某些优先级.
当您有多个利益相关者要求在同一组基础架构上报告时,真实世界的场景就是这样.例如,在我的工作场所,我们让数据科学家尝试运行各种研究工作,客户支持团队寻找各种每日和每周的数据,然后有真正的工作支持日常业务.它的核心是基础设施应该能够最好地支持它.具有不同优先级的各种队列只是让Hadoop可以轻松决定在处理器可用时下一步该做什么,或者它可以使用多少.
因此数据科学家将分配给"Data Analyst"队列,营销团队将分配给"Marketing"队列.可以根据一天中的时间更改队列的优先级.
| 归档时间： |
|
| 查看次数： |
17535 次 |
| 最近记录： |