如何在aws EMR上更改纱线调度程序配置？

Question

与HortonWorks或Cloudera不同,AWS EMR似乎没有提供任何GUI来更改各种hadoop生态系统框架的xml配置.

登录我的EMR名称节点并快速完成

find \ -iname yarn-site.xml

我能够找到它位于/etc/hadoop/conf.empty/yarn-site.xml和容量调度程序位于/etc/hadoop/conf.empty/capacity-scheduler.xml.

但请注意这些是如何处于conf.empty之下,我怀疑这些可能不是纱线网站和容量调度程序xmls的实际位置.

我知道我可以在制作群集时更改这些配置,但我需要知道的是如何在不撕裂群集的情况下更改它们.

我只想玩调度属性等,并尝试不同的调度程序来确定我的spark应用程序可能会起什么作用.

提前致谢!

Answer 1

好吧,yarn-site.xml并且capacity-scheduler.xml确实位于正确的位置(/etc/hadoop/conf.empty/)和正在运行的集群上,在主节点上编辑它们并重新启动YARN RM守护程序将更改调度程序.

在启动新群集时,您可以使用EMR Configurations API更改适当的值.http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-configure-apps.html

例如:在capacity-scheduler and yarn-site classificationsConfiguration for EMR上指定适当的值以更改相应XML文件中的值.

使用EMR配置API仅在创建群集时帮助根据我们的要求修改配置.之后,当我们想要尝试某些东西时,将配置推送到核心/任务节点是非常困难的. (3认同)
查看 YARN RM: sudo status hadoop-yarn-resourcemanager 重启 YARN RM: sudo stop hadoop-yarn-resourcemanager sudo start hadoop-yarn-resourcemanager (2认同)