Sub*_*evn 10 hadoop mapreduce hdfs
有点奇怪的问题,但是有谁知道MapReduce在shuffle/sort的排序部分使用什么类型的排序？我认为合并或插入(与整个MapReduce范例保持一致),但我不确定.
Tho*_*lut 10
它是Quicksort,之后排序的中间输出合并在一起.Quicksort检查递归深度,并在它太深时放弃.如果是这种情况,则使用Heapsort.
看看Quicksort类:
org.apache.hadoop.util.QuickSort
您可以通过hadoop-default.xml中的map.sort.class值更改使用的算法.
| 归档时间： |
|
| 查看次数： |
3443 次 |
| 最近记录： |