Hadoop - 重启datanode和tasktracker

Question

我想关闭一个datanode和tasktracker,以便我在mapred-site.xml中做出的一些新更改生效,例如mapred.reduce.child.java.opts等.我该怎么做？但是,由于我正在运行活动作业,因此我不想关闭整个群集.

此外,如何确保namenode不会将"临时关闭"datanode的相关数据块复制到另一个节点上

Answer 1

停止

您可以从NameNode的hadoop bin目录中停止DataNodes和TaskTrackers.

./hadoop-daemon.sh stop tasktracker 
./hadoop-daemon.sh stop datanode

因此,此脚本检查hadoop的conf目录中的slave文件以停止DataNodes,并与TaskTracker相同.

开始

这个脚本再次检查hadoop的conf目录中的slave文件,以启动DataNodes和TaskTrackers.

./hadoop-daemon.sh start tasktracker
./hadoop-daemon.sh start datanode

Answer 2

在Hadoop 2.7.2中,tasktracker早已不复存在,需要在slave上手动重启服务:

yarn-daemon.sh stop nodemanager
hadoop-daemon.sh stop datanode
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager