错误:jarfile sbt/sbt-launch-0.13.5.jar无效或损坏

Question

我一直在尝试使用教程安装spark ,每次运行命令sbt/sbt程序集时,我都会收到错误"错误:无效或损坏jarfile sbt/sbt-launch-0.13.5.jar"

我已经尝试了一切:单独将sbt文件添加到spark文件夹中的sbt文件夹,单独安装sbt,检查下载并重新安装,但是徒劳无功.关于我做错了什么的建议？谢谢.

Answer 1

好吧,玩了一会儿后我终于明白了,希望这对你也有用.该教程构建了spark,它们确实提供了预构建的二进制文件.我正在使用Spark 1.2.0作为注释(1.4.1对我不起作用)

这是在Ubuntu 15.04上,但应该在14.04相同

1)从bashrc中删除以下行

export SCALA_HOME=/usr/local/src/scala/scala-2.10.4
export PATH=$SCALA_HOME/bin:$PATH

2)删除并重新安装scala

sudo rm -rf /usr/local/src/scala
# The following line is only needed if you installed scala another way, if so remove the #
# sudo apt-get remove scala-library scala
wget http://www.scala-lang.org/files/archive/scala-2.11.7.deb
sudo dpkg -i scala-2.11.7.deb
sudo apt-get update
sudo apt-get install scala

3)下载PreBuilt Spark并解压缩

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.2.0-bin-hadoop2.4.tgz
tar -xzvf spark-1.2.0-bin-hadoop2.4.tgz 

4)运行spark-shell

cd spark-1.2.0-bin-hadoop2.4/
./bin/spark-shell

来源(基本上我读过的地方,此解决方案已经过试验和错误)

https://chongyaorobin.wordpress.com/2015/07/01/step-by-step-of-installing-apache-spark-on-apache-hadoop/
https://gist.github.com/visenger/5496675