如何增加 Tez 的容器物理内存？

Question

我一直在aws emr 4.8使用 hive 1.0 和 tez 0.8的集群上运行一些 hive 脚本。

我的配置如下所示：

SET hive.exec.compress.output=true;
SET mapred.output.compression.type=BLOCK;
SET hive.exec.dynamic.partition = true;
SET hive.exec.dynamic.partition.mode = nonstrict;
set hive.execution.engine=tez;
set hive.merge.mapfiles=false;
SET hive.default.fileformat=Orc;
set tez.task.resource.memory.mb=5000;
SET hive.tez.container.size=6656;
SET hive.tez.java.opts=-Xmx5120m;
set hive.optimize.ppd=true;

我的全局配置是：

hadoop-env.export   HADOOP_HEAPSIZE 4750
hadoop-env.export   HADOOP_DATANODE_HEAPSIZE    4750
hive-env.export HADOOP_HEAPSIZE 4750

在运行我的脚本时，我收到以下错误：

Container [pid=19027,containerID=container_1477393351192_0007_02_000001] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.9 GB of 5 GB virtual memory used. Killing container.

在谷歌搜索这个错误时，我读到 settez.task.resource.memory.mb会改变物理内存限制，但显然我错了。我错过了什么？

Answer 1

我经常遇到这个问题。不断变化的

Set hive.tez.container.size=6656;
Set hive.tez.java.opts=-Xmx4g;

没有为我解决问题，但这确实：

set tez.am.resource.memory.mb=4096;

Answer 2

Set hive.tez.container.size=6656
Set hive.tez.java.opts=-Xmx4g