Ror*_*rne 5 emr hadoop-yarn apache-spark spark-streaming
我在EMR上运行Spark.我用以下内容提交EMR的步骤:
spark-submit --deploy-mode cluster --master yarn --num-executors 15 --executor-cores 3 --executor-memory 3G
尽管如此,我的资源管理器UI显示3个节点中的每个节点都有4个或6个YARN容器,每个容器有1个内核和3个内存.
每个节点都有16个内核和30G的RAM.
似乎YARN创建了尽可能多的1核/ 3GB容器,直到节点上的内存不足为止.这使得10多个核心未使用.
为什么Spark不尊重我的--executor-cores设定？
| 归档时间： |
|
| 查看次数： |
811 次 |
| 最近记录： |