相关疑难解决方法(0)

我在2节点纱线集群上运行火花作业.我的数据集不是很大(<100MB),只是用于测试而且工作人员因为要求过多的虚拟内存而被杀死.这里的金额是荒谬的.使用11GB物理内存2GB,使用300GB虚拟内存.

16/02/12 05:49:43 WARN scheduler.TaskSetManager:阶段2.1中丢失的任务0.0(TID 22,ip-172-31-6-141.ec2.internal):ExecutorLostFailure(执行者2退出由其中一个引起正在运行的任务)原因:容器标记为失败:容器上的容器_1455246675722_0023_01_000003:ip-172-31-6-141.ec2.internal.退出状态:143.诊断:容器[pid = 23206,containerID = container_1455246675722_0023_01_000003]正在超出虚拟内存限制.当前用法:使用2.1 GB的11 GB物理内存; 使用305.3 GB的23.1 GB虚拟内存.杀死容器.container_1455246675722_0023_01_000003的进程树转储:| - PID PPID PGRPID SESSID CMD_NAME USER_MODE_TIME(MILLIS)SYSTEM_TIME(MILLIS)VMEM_USAGE(BYTES)RSSMEM_USAGE(PAGES)FULL_CMD_LINE | - 23292 23213 23292 23206(python)15 3 101298176 5514 python -m pyspark .daemon | - 23206 1659 23206 23206(bash)0 0 11431936 352/bin/bash -c/usr/lib/jvm/java-7-openjdk-amd64/bin/java -server -XX:OnOutOfMemoryError ='kill%p '-Xms10240m -Xmx10240m -Djava.io.tmpdir =/TMP/Hadoop的根/纳米本地-DIR/usercache /根/应用程序缓存/ application_1455246675722_0023/container_1455246675722_0023_01_000003/TMP '-Dspark.driver.port = 37386' -Dspark.yarn .app.container.log.dir =/mnt/yarn/logs/application_1455246675722_0023/container_1455246675722_0023_01_000003 -XX:MaxPermSize = 256m org.apache.spark.executor.CoarseGrainedExecutorBackend --driver-url spark://CoarseGrainedScheduler@172.31.0.92:37386 --executor-id 2 --hostname ip-172-31-6-141.ec2.internal --cores 8 --app-id application_1455246675722_0023 --user-class- 路径文件:/ tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1455246675722_0023/container_1455246675722_0023_01_000003/app .jar 1>/mnt/yarn/logs/application_1455246675722_0023/container_1455246675722_0023_01_000003/stdout …