在jobtracker上有hadoop conf/masters和conf/slaves?

Jef*_*rey 0 configuration hadoop

在一个hadoop集群(1.x版本)中,NameNode和JobTracker不是同一个服务器,是否需要在NameNode和JobTracker上或仅在NameNode上指定conf/masters和conf/slaves?我似乎无法在文档中找到对此的直接答案.

Chr*_*ite 5

conf文件夹中的从属文件和母版文件仅由bin文件夹中的start-mapred.sh,start-dfs.sh和start-all.sh脚本使用.这些脚本是便捷脚本,您可以在单个节点上运行它们以ssh到每个主/从节点并启动所需的hadoop服务守护程序.这些脚本也可以从适当的"主"节点启动:

  • start-dfs.sh - 从您想要成为名称节点的节点开始
  • start-mapred.sh - 从您想要成为Job Tracker的节点开始
  • start-all.sh - 代理上述脚本,应该从您希望同时成为名称节点和作业跟踪器的节点运行

从属文件列出了所有计算节点主机名(即要在其上运行数据节点和任务跟踪器服务的节点),而主文件包含要在其上运行辅助名称节点的节点的主机名.

考虑到这一点,您只需要在名称节点上存在从属和主文件,并且仅当您计划从该单个节点启动群集时(仅使用无密码的ssh).