例外:java.lang.Exception:当使用master'yarn'运行时,必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR.在火花中

Question

我是新的apache-spark.我已经在spark独立模式下测试了一些应用程序.但我想运行应用程序纱线模式.我在windows中运行apache-spark 2.1.0.这是我的代码

c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJars\config-1.3.1.jar,C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.driver.userClasspathFirst=true --conf spark.executor.extraClassPath=C:\DependencyJars\commons-lang3-3.3.2.jar --conf spark.executor.userClasspathFirst=true --class "GeoLogConsumerRT" C:\sbtazure\target\scala-2.11\azuregeologproject_2.11-1.0.jar

例外:当使用主'yarn'运行时,必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR.在火花中

所以从搜索网站.我创建了一个文件夹名称Hadoop_CONF_DIR并将hive site.xml放在其中并指向环境变量,之后我运行spark-submit然后我有了

连接拒绝异常 我认为我无法正确配置纱线模式.有谁可以帮我解决这个问题？我需要单独安装Hadoop和yarn吗？我想在伪分布式模式下运行我的应用程序.请帮我在windows中配置yarn模式谢谢

Answer 1

您需要导出两个变量HADOOP_CONF_DIR,并YARN_CONF_DIR让您的配置文件中看到纱线.如果您使用的是linux,请使用.bashrc文件中的以下代码.

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

在Windows中,您需要设置环境变量.

希望这可以帮助!