Hadoop安装错误,"错误:无法执行hdfs-config.sh".

Question

我正在按照本教程在我的计算机中安装hadoop.据我所知,我完全按照说明进行操作source ~/.profile,但是当我尝试通过输入格式化HDFS时hdfs namenode -format,它会给我以下错误:

ERROR: Cannot execute /usr/local/Cellar/hadoop/3.0.0/libexec/hdfs-config.sh

我尝试了很多通过互联网寻找解决方案,但没有找到解决方案.

Answer 1

@BIKI我刚刚遇到了同样的问题,Hadoop 3.0.0版本有一个奇怪的文件结构,不能像你想象的那样设置主目录.

我在MAC High Sierra OS 10.13上安装并使用,brew但我认为你会在Ubuntu或任何类UNIX系统上看到类似的东西.

最重要的是,如果您想要追踪错误,请检查您HADOOP_HOME的个人资料(.bash_profile)以及启动Hadoop时启动的脚本.就我而言,我的配置文件中有一个别名集hstart,它调用以下文件:

start-dfs.sh

和

start-yarn.sh

这些文件调用在hdfs-config.sh给定主目录设置的情况下丢失的文件.

我的Hadoop主目录设置为:

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.0.0

我把它改成了:

export HADOOP_HOME=/usr/local/Cellar/hadoop/3.0.0/libexec

当然你需要source你的配置文件,在我的情况下它是:

source .bash_profile

对我来说,这就是诀窍.希望有所帮助!

Answer 2

看起来最新版本的 Brew 有问题。我尝试直接从这里下载Hadoop-2.8.1版本。

请遵循相同的说明。这是工作。