我尝试使用Ubuntu 16.04在Ubuntu VM上安装和构建Spark 2.0.0,如下所示:
安装Java
sudo apt-add-repository ppa:webupd8team/java
sudo apt-get update
sudo apt-get install oracle-java8-installer
Run Code Online (Sandbox Code Playgroud)安装Scala
转到他们网站上的"下载"标签:scala-lang.org/download/all.html
我用过Scala 2.11.8.
sudo mkdir /usr/local/src/scala
sudo tar -xvf scala-2.11.8.tgz -C /usr/local/src/scala/
Run Code Online (Sandbox Code Playgroud)
修改.bashrc文件并包含scala的路径:
export SCALA_HOME=/usr/local/src/scala/scala-2.11.8
export PATH=$SCALA_HOME/bin:$PATH
Run Code Online (Sandbox Code Playgroud)
然后输入:
. .bashrc
Run Code Online (Sandbox Code Playgroud)安装git
sudo apt-get install git
Run Code Online (Sandbox Code Playgroud)下载并构建火花
请访问:http://spark.apache.org/downloads.html
下载Spark 2.0.0(从源代码构建 - 用于独立模式).
tar -xvf spark-2.0.0.tgz
cd into the Spark folder (that has been extracted).
Run Code Online (Sandbox Code Playgroud)
现在输入:
./build/sbt assembly
Run Code Online (Sandbox Code Playgroud)
完成安装后,我收到消息:
[成功]总时间:1940年代,完成......
其次是日期和时间......
运行Spark shell
bin/spark-shell
Run Code Online (Sandbox Code Playgroud)那时所有的地狱都崩溃了,我开始得到错误.我进入程序集文件夹查找名为target的文件夹.但那里没有这样的文件夹.汇编中唯一可见的东西是:pom.xml,README和src.
我在网上看了很长一段时间,但我找不到能帮助解决错误的单一具体解决方案.有人可以提供关于如何解决这个问题的明确的逐步说明吗?!?它现在让我疯了......(TT)
错误的屏幕截图: