Hadoop - 在xml中增加map任务不会增加运行时的map任务

Question

我添加了以下内容 conf/mapred-site.xml

<property>
  <name>mapred.tasktracker.map.tasks.maximum</name>
  <value>4</value>
</property>

<property>
  <name>mapred.tasktracker.reduce.tasks.maximum</name>
  <value>1</value>
</property>

但是当我运行这份工作时,它还在运行2 maps(which is default one)吗？如何强制增加这个数字呢？

PS我正在使用Ubuntu Quad core盒子

谢谢

Answer 1

您正在运行少量数据吗？您的 MapReduce 作业可能仅在一个输入拆分上运行，因此不需要更多映射器。尝试在数百 MB 的数据上运行您的作业，看看您是否仍然遇到相同的问题。

单个节点上能够运行的最大任务数与作业拥有的 Map 任务数无关。您的工作可能是 20 个地图任务，而您的集群有 5 个地图槽位，这只会花费更长的时间。或者，您的集群可能有 50 个地图槽，但您的作业只有 2 个地图槽。