Apache Hadoop YARN中'mapreduce.map.memory.mb'和'mapred.map.child.java.opts'之间的关系是什么？

Question

我想知道mapreduce.map.memory.mb和mapred.map.child.java.opts参数之间的关系.

是mapreduce.map.memory.mb> mapred.map.child.java.opts？

谢谢,Kewal.

Answer 1

mapreduce.map.memory.mb是Hadoop允许分配给映射器的内存上限,以兆字节为单位.默认值为512.如果超出此限制,Hadoop将使用如下错误终止映射器:

Container [pid = container_1406552545451_0009_01_000002,containerID = container_234132_0001_01_000001]正在超出物理内存限制.当前用法:使用569.1 MB的512 MB物理内存; 使用970.1 MB的1.0 GB虚拟内存.杀死容器.

Hadoop映射器是一个java进程,每个Java进程都有自己的堆内存最大分配设置,这些设置是通过mapred.map.child.java.opts(或Hadoop 2+中的mapreduce.map.java.opts)配置的.如果映射器进程耗尽堆内存,映射器将抛出java内存不足异常:

错误:java.lang.RuntimeException:java.lang.OutOfMemoryError

因此,Hadoop和Java设置是相关的.Hadoop设置更像是资源实施/控制设备,而Java更像是资源配置设置.

Java堆设置应该小于Hadoop容器内存限制,因为我们需要为Java代码保留内存.通常,建议为代码保留20%的内存.因此,如果设置正确,基于Java的Hadoop任务永远不会被Hadoop杀死,因此您永远不应该看到如上所述的"Killing容器"错误.

如果遇到Java内存不足错误,则必须增加两个内存设置.

Answer 2

以下属性允许您指定要传递给运行任务的JVM的选项.这些可用于-Xmx控制堆可用.

Hadoop 0.x, 1.x (deprecated)       Hadoop 2.x
-------------------------------    --------------------------
mapred.child.java.opts            
mapred.map.child.java.opts         mapreduce.map.java.opts
mapred.reduce.child.java.opts      mapreduce.reduce.java.opts

注意,第一个没有直接的Hadoop 2等价物; 源代码中的建议是使用另外两个.mapred.child.java.opts仍然受支持(但如果存在,则被其他两个更具体的设置覆盖).

除此之外,以下内容允许您限制可用于任务的总内存(可能是虚拟) - 包括堆,堆栈和类定义:

Hadoop 0.x, 1.x (deprecated)       Hadoop 2.x
-------------------------------    --------------------------
mapred.job.map.memory.mb           mapreduce.map.memory.mb
mapred.job.reduce.memory.mb        mapreduce.reduce.memory.mb

我建议设置-Xmx为75%的memory.mb值.

在YARN群集中,作业不能使用比服务器端配置更多的内存,yarn.scheduler.maximum-allocation-mb否则它们将被终止.

要检查默认值,这些优先级,见JobConf并MRJobConfig在Hadoop的源代码.

故障排除

请记住,mapred-site.xml可能会为这些设置提供默认值.这可能会让人感到困惑 - 例如,如果您的作业以mapred.child.java.opts编程方式设置,那么如果mapred-site.xml设置mapreduce.map.java.opts或,则无效mapreduce.reduce.java.opts.您需要在作业中设置这些属性,以覆盖mapred-site.xml.检查作业的配置页面(搜索"xmx")以查看已应用的值以及它们的来源.

ApplicationMaster内存

在YARN群集中,您可以使用以下两个属性来控制ApplicationMaster可用的内存量(保存输入拆分的详细信息,任务状态等):

Hadoop 0.x, 1.x                    Hadoop 2.x
-------------------------------    --------------------------
                                   yarn.app.mapreduce.am.command-opts
                                   yarn.app.mapreduce.am.resource.mb

同样,您可以将-Xmx(在前者中)设置为resource.mb值的75%.

其他配置

还有许多与内存限制相关的配置,其中一些已被弃用 - 请参阅JobConf课程.一个有用的:

Hadoop 0.x, 1.x (deprecated)       Hadoop 2.x
-------------------------------    --------------------------
mapred.job.reduce.total.mem.bytes  mapreduce.reduce.memory.totalbytes

将其设置为较低的值(10),以便在您遇到OutOfMemoryErrorat时强制在磁盘上发生shuffle MapOutputCopier.shuffleInMemory.