小编Mic*_*ten的帖子

如何从Download Spark页面的源代码构建Spark?

我尝试使用Ubuntu 16.04在Ubuntu VM上安装和构建Spark 2.0.0,如下所示:

  1. 安装Java

    sudo apt-add-repository ppa:webupd8team/java
    sudo apt-get update       
    sudo apt-get install oracle-java8-installer
    
    Run Code Online (Sandbox Code Playgroud)
  2. 安装Scala

    转到他们网站上的"下载"标签:scala-lang.org/download/all.html

    我用过Scala 2.11.8.

    sudo mkdir /usr/local/src/scala
    sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
    
    Run Code Online (Sandbox Code Playgroud)

    修改.bashrc文件并包含scala的路径:

    export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
    export PATH=$SCALA_HOME/bin:$PATH
    
    Run Code Online (Sandbox Code Playgroud)

    然后输入:

    . .bashrc
    
    Run Code Online (Sandbox Code Playgroud)
  3. 安装git

    sudo apt-get install git
    
    Run Code Online (Sandbox Code Playgroud)
  4. 下载并构建火花

    请访问:http://spark.apache.org/downloads.html

    下载Spark 2.0.0(从源代码构建 - 用于独立模式).

    tar -xvf spark-2.0.0.tgz
    cd into the Spark folder (that has been extracted).
    
    Run Code Online (Sandbox Code Playgroud)

    现在输入:

    ./build/sbt assembly
    
    Run Code Online (Sandbox Code Playgroud)

    完成安装后,我收到消息:

    [成功]总时间:1940年代,完成......

    其次是日期和时间......

  5. 运行Spark shell

    bin/spark-shell
    
    Run Code Online (Sandbox Code Playgroud)

那时所有的地狱都崩溃了,我开始得到错误.我进入程序集文件夹查找名为target的文件夹.但那里没有这样的文件夹.汇编中唯一可见的东西是:pom.xml,README和src.

我在网上看了很长一段时间,但我找不到能帮助解决错误的单一具体解决方案.有人可以提供关于如何解决这个问题的明确的逐步说明吗?!?它现在让我疯了......(TT)

错误的屏幕截图:

在此输入图像描述

ubuntu scala sbt apache-spark-2.0

6
推荐指数
1
解决办法
3954
查看次数

标签 统计

apache-spark-2.0 ×1

sbt ×1

scala ×1

ubuntu ×1