配置Hadoop集群时应该设置多少个映射器/缩减器?

tec*_*lad 4 reduce hadoop map

在配置Hadoop集群时,有什么科学方法来设置集群的映射器/缩减器数量?

roo*_*982 5

没有公式.这取决于你有多少核心和多少内存.映射器的数量+减速器的数量一般不应超过核心数量.请记住,该计算机还运行任务跟踪器和数据节点守护程序.一般的建议是更多的映射器而不是减速器.如果我是你,我会用一些合理的数据运行我的典型工作来试试.