带有'yarn-client'的Spark-shell尝试从错误的位置加载配置

Question

我正试图从笔记本电脑启动bin/spark-shell,bin/pyspark在yarn-client模式下连接到Yarn集群,我得到了同样的错误

WARN ScriptBasedMapping: Exception running
/etc/hadoop/conf.cloudera.yarn1/topology.py 10.0.240.71
java.io.IOException: Cannot run program "/etc/hadoop/conf.cloudera.yarn1/topology.py" 
(in directory "/Users/eugenezhulenev/projects/cloudera/spark"): error=2, 
No such file or directory

Spark试图/etc/hadoop/conf.cloudera.yarn1/topology.py在我的笔记本电脑上运行,但不在Yarn的工作节点上运行.

从Spark 1.2.0更新到1.3.0(CDH 5.4.2)后出现此问题

Answer 1

以下步骤是 CDH 5.4.4 上此问题的临时解决方法

cd ~
mkdir -p test-spark/
cd test-spark/

然后将 /etc/hadoop/conf.clouder.yarn1 中的所有文件从一个工作节点复制到上述（本地）目录。然后spark-shell从~/test-spark/