HADOOP_HOME和hadoop流媒体

Question

嗨,我想在已安装hadoop的服务器上运行hadoop,但我不知道hadoop所在的目录.服务器由服务器管理员配置.

为了加载hadoop,我使用dotkit包中的use命令.

可能有几个解决方案,但想知道hadoop软件包的安装位置,如何设置$ HADOOP_HOME变量,以及如何approp运行hadoop流媒体作业,例如$ HADOOP_HOME/bin/hadoop jar $ HADOOP_HOME/mapred/contrib /streaming/hadoop-streaming.jar,又名,http://wiki.apache.org/hadoop/HadoopStreaming.

谢谢!任何帮助将不胜感激!

Answer 1

如果您使用的是cloudera发行版,则最有可能发布/usr/lib/hadoop,否则它可能位于任何地方(由您的系统管理员决定).

您可以使用一些技巧来尝试找到它:

1. locate hadoop-env.sh (假设已经安装了locate并且最近已经运行了updatedb)
2. 如果您运行此计算机的计算机正在运行hadoop服务(例如数据节点,作业跟踪器,任务跟踪器,名称节点),那么您可以执行hadoop命令的进程列表和grep: ps axww | grep hadoop
3. 失败的上述两个,查找hadoop的根目录在如一些常见位置:/usr/lib,/usr/local,/opt
4. 失败所有这一切,并假设您当前的用户具有以下权限: find / -name hadoop-env.sh