纱线：使yarn-site.xml更改对集群中的工作程序节点有效

Question

我们有一个在HDFS 2.7.3上运行的Spark Streaming应用程序，其中Yarn作为资源管理器。在运行应用程序时，这两个文件夹：

  /tmp/hadoop/data/nm-local-dir/filecache
    /tmp/hadoop/data/nm-local-dir/filecache 

正在填充，因此磁盘。因此，根据我的研究发现，在yarn-site.xml中配置这两个属性会有所帮助。

<property>
            <name>yarn.nodemanager.localizer.cache.cleanup.interval-ms</name>
            <value>2000</value>
    </property>
    <property>
             <name>yarn.nodemanager.localizer.cache.target-size-mb</name>
             <value>2048</value>
    </property>

我已经在每个namenode和masternode上的yarn-site.xml上配置了它们，并使用stop-yarn.sh start-yarn.sh在masternode上重新启动了yarn 。但是，这似乎仍然无济于事。在进行配置更改时我是否缺少任何内容？以及我们如何确保这些更改传播到所有工作节点？

Answer 1

YARN 工作线程是由 ResourceManager 管理的 NodeManager。HDFS 使用 DataNode 和 NameNode。您必须在所有运行 NodeManager 的主机上重新启动 YARN 才能使这些更改生效。