如何在 hadoop 2.5.2 上启动并检查作业历史记录

phi*_*gyi 3 hadoop

  1. 在每个应用程序的mapreduce webconsole中都有一个指向xx:19888/jobhistory/的跟踪ui链接,但是如何在19888上启动服务(我已经启动了4个服务:yarn-resource-manager、yarn-node-manager、 hdfs-name-node,hdfs-data-node,我错过了什么?)
  2. jobtracker在2.5.2中被删除了吗
  3. 我想检查为我的作业生成的 job.xml,在哪里可以找到它。我已指定“mapreduce.jobtracker.jobhistory.location”,但什么也没有

谢谢。

Ash*_*ith 6

  1. 要访问 JobHistory 服务器的 Web 界面,您必须启动该hadoop-mapreduce-historyserver服务,默认情况下该服务将绑定到该服务19888
  2. 如果您在集群中运行 YARN,那么您不再需要 jobtracker,jobtracker 完成的工作将被卸载到 ResourceManager、NodeManager 和 ApplicationMaster 上。但是,您仍然可以仅安装 MRv1,在这种情况下您将安装 JobTracker 和 TaskTracker(不推荐)。
  3. 您可以从 ResourceManager 的 UI 检查 job.xml,方法是导航到http://RESOURCEMANAGER_HOST:8088/cluster-> 选择应用程序的跟踪 UI -> 选择您的作业 ID -> 在左侧选项卡上,您将能够看到Configuration。或者,如果您已经知道您的工作 ID,请访问此链接:http://JOBHISTORY_SERVER:19888/jobhistory/conf/YOUR_JOB_ID