是否可以在hadoop中禁用排序？

Question

我的工作不需要排序,只需要按键聚合信息.所以我认为如果可以禁用所有信息的排序,以提高性能.

---

注意:我不能将reducers count设置为零,因为我需要在许多映射器之间聚合数据.我只对一个减速机的排序结果不感兴趣.

Answer 1

对map输出进行排序的主要目的之一是，当元组到达reducer时，reducer必须调用reducer任务，使用排序后的map输出列表，它可以通过顺序扫描来创建列表（当它看到不同的键时）只需创建新列表），如果映射输出未排序，则必须扫描整个列表以形成具有相同键的列表。