小编rbu*_*urg的帖子

我正在尝试在Intellij 14 Scala工作表中创建SparkContext.

这是我的依赖

name := "LearnSpark"
version := "1.0"
scalaVersion := "2.11.7"
// for working with Spark API
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.0"

这是我在工作表中运行的代码

import org.apache.spark.{SparkContext, SparkConf}
val conf = new SparkConf().setMaster("local").setAppName("spark-play")
val sc = new SparkContext(conf)

错误

15/08/24 14:01:59 ERROR SparkContext: Error initializing SparkContext.
java.lang.ClassNotFoundException: rg.apache.spark.rpc.akka.AkkaRpcEnvFactory
    at java.net.URLClassLoader$1.run(URLClassLoader.java:372)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:360)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    at java.lang.Class.forName0(Native Method)

当我将Spark作为独立应用程序运行时,它运行正常.例如

import org.apache.spark.{SparkContext, SparkConf}

// stops verbose logs
import org.apache.log4j.{Level, Logger}

object …

我的目标是使用Map(不可变)而不是类来表示我在Scala中的数据.我只是简单地将数据从一个源文件转换为另一种格式,并使用Map似乎合理的建模类来表示我的数据.

例:

我有一份原始数据列表清单.

val x = List(List("a","b","c"), List("x","y","z")) // the values, order matters
val y = List("field1","field2","field3") // the keys, order matters

我想将架构应用于原始数据并创建地图列表.订单与地图无关.

val z = List(Map("field1" -> "a", "field2" -> "b", "field3" -> "c"), List("field1" -> "x", "field2" -> "y", "field3" -> "z"))

我试过拉链,但那不是我想要的

val z = x zip(y) toMap
  z: scala.collection.immutable.Map[List[String],String] = Map(List(a, b, c) -> field1, List(x, y, z) -> field2)

我一直卡住我怎么会在地图上x用y和返回Map.一些方向将不胜感激.

编辑:这种方法的灵感来自Rich Hickey的演讲.