使用主“纱线”运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR

Question

我正在尝试使用yarn运行Spark，并且遇到了以下错误：

线程“主”中的异常java.lang.Exception：使用主线程“ yarn”运行时，HADOOP_CONF_DIR或者YARN_CONF_DIR必须在环境中进行设置。

我不确定“环境”在哪里（哪个特定文件？）。我尝试使用：

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在bash_profile中，但这似乎无济于事。

Answer 1

使用Yarn运行spark时，您需要在其中添加以下行 spark-env.sh

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

注意：检查$ HADOOP_HOME / etc / hadoop在您的环境中是否正确。spark-env.sh也包含HADOOP_HOME的导出。