我已经阅读了很多关于在机器集群上运行的Hadoop和Map-Reduce.有人知道Apache发行版是否可以在具有多个内核的SMP上运行.特别是,可以在同一台机器上运行多个Map-Reduce进程.调度程序将负责将它们分布在多个核心上.谢谢.- 公斤
是.每个机器中有多个映射和减少插槽由RAM和CPU确定(默认情况下每个JVM实例需要1GB,因此具有16个内核的8GB机器应该仍然有7个任务插槽)
使用配置旋钮:mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum来控制在TaskTracker上同时生成的贴图/缩小的数量.默认情况下,它设置为2,因此在TaskTracker上的给定实例中最多可以看到2个映射,2个减少.
您可以在每个任务跟踪器的基础上设置这些以准确反映您的硬件(即在更强大的任务跟踪器等上设置更高的数量).