hadoop中"超级模式"的目的是什么？

Question

嗨,我是一个大数据新手.我搜索了整个互联网,找到了什么是超级模式.我搜索的越多,我就越困惑.有人可以回答我的问题来帮助我吗？

• 优步模式有什么作用？
• 它在mapred 1.x和2.x中的工作方式是否有所不同？
• 我在哪里可以找到它的设置？

Answer 1

什么是Hadoop2中的UBER模式？

通常映射器和Reducer将由ResourceManager(RM)运行,RM将为mapper和reducer创建单独的容器.Uber配置允许在与ApplicationMaster(AM)相同的进程中运行映射器和Reducer.

优步工作:

优步作业是在MapReduce ApplicationMaster中执行的作业.而是与RM通信以创建映射器和reducer容器.AM运行映射并在其自己的进程中减少任务,并避免启动和与远程容器通信的开销.

为什么

如果您有一个小数据集,或者您希望在少量数据上运行MapReduce,Uber配置将通过减少MapReduce通常在mapper和reducers阶段花费的额外时间来帮助您.

我可以为所有MapReduce作业配置优步吗？

截至目前,仅支持仅映射作业和具有一个reducer的作业.

Answer 2

当多个映射器和缩减器组合使用单个容器时,会发生Uber作业.围绕Uber Jobs的配置有四个核心设置mapred-site.xml.优步工作的配置选项:

• mapreduce.job.ubertask.enable
• mapreduce.job.ubertask.maxmaps
• mapreduce.job.ubertask.maxreduces
• mapreduce.job.ubertask.maxbytes

您可以在此处找到更多详细信息:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.1.15/bk_using-apache-hadoop/content/uber_jobs.html