use*_*151 4 hadoop reducers mapper
我已经开始阅读有关大数据和Hadoop的内容了,所以这个问题对你来说可能听起来很愚蠢.
这就是我所知道的.
每个映射器处理少量数据并产生中间输出.在此之后,我们有了洗牌和排序的步骤.
现在,Shuffle =将中间输出移动到各自的Reducers,每个Reducers处理特定的键/键.
那么,一个数据节点是否可以在其中运行Mapper和Reducer代码,或者每个数据节点都有不同的DN？
术语:Datanode用于HDFS(存储).Mappers和Reducers(compute)在具有TaskTracker守护程序的节点上运行.
每个任务跟踪器的映射器和减少器的数量由配置控制:mapred.tasktracker.map.tasks.maximum和mapred.tasktracker.reduce.tasks.maximum
在理论上,受其他配置中的其他限制的约束,只要tasktracker没有最大数量的map或reduce任务,就可以为jobtracker分配更多map或reduce任务.通常,jobtracker将尝试分配任务以减少数据移动量.
所以,是的,您可以同时在同一节点上运行映射器和缩减器.