何时使用身份映射器/减速器？

Question

我有两个与mapreduce和hadoop相关的概念疑问.我知道一个简单的迭代map-reduce程序,知道mapper,reducer,shuffler是什么..但是仍然想知道以下问题

1)什么时候迭代地图减少完成？

2)我知道身份映射器/减速器给出与馈送输入相同的输出.但是我们什么时候使用身份映射器/缩减器？

Answer 1

1) 迭代MR算法的一个例子是Dijkstra的最短路径算法。在每次迭代中，都会探索所有活动节点的最近邻居，并使用归约阶段来检查是否已到达目标节点。其他例子还有 Facebook 的好友之友 ( FoF ) 算法，用于查找并推荐新朋友。

2）如果您只想对输入进行排序，则可以使用恒等映射器（除其他外！） 。例如，身份缩减器可用于实现令人尴尬的并行算法，您只需使用映射器来执行并行任务，但希望对输出键值对进行排序。

希望这能让你上路。

请注意，除了恒等减速器之外，您还可以不设置减速器（然后映射输出不会排序）。