无论我多少修改设置,yarn-site.xml即使用以下所有选项
yarn.scheduler.minimum-allocation-vcores
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.maximum-allocation-vcores
我仍然无法获得我的应用程序,即Spark,以利用群集上的所有核心.火花执行器似乎正确地占用了所有可用的内存,但每个执行器只是继续使用单个内核而不再使用.
以下是配置的选项 spark-defaults.conf
spark.executor.cores 3
spark.executor.memory 5100m
spark.yarn.executor.memoryOverhead 800
spark.driver.memory 2g
spark.yarn.driver.memoryOverhead 400
spark.executor.instances 28
spark.reducer.maxMbInFlight 120
spark.shuffle.file.buffer.kb 200
请注意,spark.executor.cores设置为3,但它不起作用.我该如何解决？