我正在运行 hive tez 工作。工作是将数据从一个文本文件格式的表加载到另一个 orc 格式的表中。
我正在使用
INSERT INTO TABLE ORDERREQUEST_ORC
PARTITION(DATE)
SELECT
COLUMN1,
COLUMN2,
COLUMN3,
DATE
FROM ORDERREQUEST_TXT;
当我通过 ambari Web 控制台监控作业时，我看到 YARN 内存使用率为 100%。
你能建议如何保持健康的纱线记忆。
所有三个数据节点的平均负载；
1. top - 17:37:24 up 50 days, 3:47, 4 users, load average: 15.73, 16.43, 13.52
2. top - 17:38:25 up 50 days, 3:48, 2 users, load average: 16.14, 15.19, 12.50
3. top - 17:39:26 up 50 days, 3:49, 1 user, load average: 11.89, 12.54, 10.49
这些是纱线配置
yarn.scheduler.minimum-allocation-mb=5120
yarn.scheduler.maximum-allocation-mb=46080
yarn.nodemanager.resource.memory-mb=46080
仅供参考：- 我的集群配置
Nodes …