映射减少插槽定义

Question

我正在成为一名cloudera Hadoop管理员.从我开始,我听到很多关于在Hadoop集群中计算每台机器的插槽,比如定义Map Slots和Reduce插槽的数量.

我已经在互联网上搜索了一个日志时间,以获得Map Reduce Slot的Noob定义,但没有找到任何.

通过PDF解释Map Reduce的配置,我真的很生气.

请解释一下集群机器中计算插槽的确切含义.

Answer 1

在map-reduce v.1中，mapreduce.tasktracker.map.tasks.maximum和mapreduce.tasktracker.reduce.tasks.maximum用于在mapred-site.xml中相应地配置map slot的数量和reduce slot。

从map-reduce v.2（YARN）开始，容器是一个更通用的术语，用来代替槽，容器代表节点下可以并行运行的最大任务数，无论是Map任务，Reduce任务还是应用程序主任务（在纱线中）。