如何从Download Spark页面的源代码构建Spark？

Question

我尝试使用Ubuntu 16.04在Ubuntu VM上安装和构建Spark 2.0.0,如下所示:

1. 安装Java

   sudo apt-add-repository ppa:webupd8team/java
   sudo apt-get update       
   sudo apt-get install oracle-java8-installer
   

2. 安装Scala

   转到他们网站上的"下载"标签:scala-lang.org/download/all.html

   我用过Scala 2.11.8.

   sudo mkdir /usr/local/src/scala
   sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
   

   修改.bashrc文件并包含scala的路径:

   export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
   export PATH=$SCALA_HOME/bin:$PATH
   

   然后输入:

   . .bashrc
   

3. 安装git

   sudo apt-get install git
   

4. 下载并构建火花

   请访问:http://spark.apache.org/downloads.html

   下载Spark 2.0.0(从源代码构建 - 用于独立模式).

   tar -xvf spark-2.0.0.tgz
   cd into the Spark folder (that has been extracted).
   

   现在输入:

   ./build/sbt assembly
   

   完成安装后,我收到消息:

   [成功]总时间:1940年代,完成......

   其次是日期和时间......

5. 运行Spark shell

   bin/spark-shell
   

那时所有的地狱都崩溃了,我开始得到错误.我进入程序集文件夹查找名为target的文件夹.但那里没有这样的文件夹.汇编中唯一可见的东西是:pom.xml,README和src.

我在网上看了很长一段时间,但我找不到能帮助解决错误的单一具体解决方案.有人可以提供关于如何解决这个问题的明确的逐步说明吗？!？它现在让我疯了......(TT)

错误的屏幕截图:

Answer 1

由于某种原因，Scala 2.11.8 在构建时运行不佳，但如果我切换到 Scala 2.10.6，则它可以正常构建。我想我首先需要 Scala 的原因是为了能够访问 sbt 来构建 Spark。构建完成后，我需要将自己引导到 Spark 文件夹并输入：

build/sbt package

这将使用 Scala 2.11 为我构建丢失的 JAR 文件...有点奇怪，但这就是它的工作原理（我假设通过查看日志）。

再次构建 Spark 后，输入：bin/spark-shell（位于 Spark 文件夹中），您将可以访问 Spark shell。