相关疑难解决方法(0)

如何设置Intellij 14 Scala Worksheet来运行Spark

我正在尝试在Intellij 14 Scala工作表中创建SparkContext.

这是我的依赖

name := "LearnSpark"
version := "1.0"
scalaVersion := "2.11.7"
// for working with Spark API
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0"
Run Code Online (Sandbox Code Playgroud)

这是我在工作表中运行的代码

import org.apache.spark.{SparkContext, SparkConf}
val conf = new SparkConf().setMaster("local").setAppName("spark-play")
val sc = new SparkContext(conf)
Run Code Online (Sandbox Code Playgroud)

错误

15/08/24 14:01:59 ERROR SparkContext: Error initializing SparkContext.
java.lang.ClassNotFoundException: rg.apache.spark.rpc.akka.AkkaRpcEnvFactory
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)
Run Code Online (Sandbox Code Playgroud)

当我将Spark作为独立应用程序运行时,它运行正常.例如

import org.apache.spark.{SparkContext, SparkConf}

// stops verbose logs
import org.apache.log4j.{Level, Logger}

object …
Run Code Online (Sandbox Code Playgroud)

scala intellij-idea worksheet apache-spark

24
推荐指数
3
解决办法
7531
查看次数

针对Scala的Intellij Idea设置,需要澄清

使用IntelliJIdea 12,我下载了Scala插件并创建了一个HelloWorld应用程序.

以下导入似乎很奇怪.为什么IDEA不承认这是一个Scala应用程序?我的设置不完整吗?

在此输入图像描述

我查看了我的编译器指向的位置并得到了这个.不要真的看到将IDEA导航到我的scala安装的方法.

请指教.

在此输入图像描述

scala intellij-idea

16
推荐指数
2
解决办法
1万
查看次数

如何在Eclipse IDE中添加新的JVM语言,例如Scala,Clojure,Fantom,Groovy?

通过scala-lang.org下载Scala的优先方法是什么,它可以由Eclipse IDE直接添加,还是如何将Scala添加到Eclipse IDE?是否有关于如何添加JVM语言的约定?

更新

我可以从帮助中添加Clojure和Scala ...安装新软件,所以现在我可以创建这些类型的项目:

在此输入图像描述

eclipse groovy scala clojure jvm-languages

2
推荐指数
2
解决办法
995
查看次数