如何使用两个版本的火花壳？

Question

我在我的hortonworks集群上安装了Spark 1.6.2和Spark 2.0.

这两个版本都安装在Hadoop Cluster of 5节点的节点上.

每次我开始spark-shell我得到:

$ spark-shell
Multiple versions of Spark are installed but SPARK_MAJOR_VERSION is not set
Spark1 will be picked by default

当我检查我得到的版本时:

scala> sc.version
res0: String = 1.6.2

如何启动其他版本(Spark2.0的Spark-shell)？

Answer 1

export SPARK_MAJOR_VERSION=2 

您只需要提供主要版本2或1.

$ export SPARK_MAJOR_VERSION=2
$ spark-submit --version
SPARK_MAJOR_VERSION is set to 2, using Spark2
Welcome to
   ____              __
  / __/__  ___ _____/ /__
 _\ \/ _ \/ _ `/ __/  '_/
/___/ .__/\_,_/_/ /_/\_\   version 2.0.0.2.5.0.0-1245