如何检查Hadoop守护程序是否正在运行？

Question

什么是检查Hadoop守护程序是否正在运行的简单命令？

例如,如果我想弄清楚为什么HDFS设置不正确,我想知道一种检查namemonode/datanode/jobtracker/tasktracker是否在这台机器上运行的方法.

有没有办法快速检查它而不查看日志或使用ps(在Linux上)？

Answer 1

在shell类型'jps'中(你可能需要一个jdk来运行jps).它列出了所有正在运行的java进程,并列出了正在运行的hadoop守护进程.

Answer 2

如果您看到hadoop进程未运行ps -ef|grep hadoop,请运行sbin/start-dfs.sh.监控hdfs dfsadmin -report:

[mapr@node1 bin]$ hadoop dfsadmin -report
Configured Capacity: 105689374720 (98.43 GB)
Present Capacity: 96537456640 (89.91 GB)
DFS Remaining: 96448180224 (89.82 GB)
DFS Used: 89276416 (85.14 MB)
DFS Used%: 0.09%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)

Name: 192.168.1.16:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4986138624 (4.64 GB)
DFS Remaining: 47813910528(44.53 GB)
DFS Used%: 0.08%
DFS Remaining%: 90.48%
Last contact: Tue Aug 20 13:23:32 EDT 2013


Name: 192.168.1.17:50010
Decommission Status : Normal
Configured Capacity: 52844687360 (49.22 GB)
DFS Used: 44638208 (42.57 MB)
Non DFS Used: 4165779456 (3.88 GB)
DFS Remaining: 48634269696(45.29 GB)
DFS Used%: 0.08%
DFS Remaining%: 92.03%
Last contact: Tue Aug 20 13:23:34 EDT 2013

Answer 3

除了 jps 之外，另一个好主意是使用 Hadoop 提供的 NameNode 和 JobTracker 的 Web 界面。它不仅向您显示流程，还为您提供许多其他有用的信息，例如集群摘要、正在进行的作业等。要转到 NN UI，请将 Web 浏览器指向“YOUR_NAMENODE_HOST:9000”，对于 JT UI，请将 Web 浏览器指向“YOUR_JOBTRACKER_HOST:9001”。

Answer 4

我没有找到很好的解决方案,所以我用过

ps -ef | grep hadoop | grep -P  'namenode|datanode|tasktracker|jobtracker'

只是为了看东西是否在运行

和

./hadoop dfsadmin -report

但是在服务器运行之前,最后一次没用.

Answer 5

尝试jps命令。它指定正在运行的Java进程。

Answer 6

您可以像vipin这样使用Jps命令：

/usr/lib/java/jdk1.8.0_25/bin/jps  

当然，您将使用“您在其中安装了Java的路径”来更改Java的路径
。Jps是一个不错的工具，用于检查预期的Hadoop进程是否正在运行（自v1.5.0以来为Sun的Java的一部分）。
结果将是这样的：

2287 TaskTracker  
2149 JobTracker  
1938 DataNode  
2085 SecondaryNameNode  
2349 Jps  
1788 NameNode  

我从本教程中得到了答案：http : //www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/