从命令行运行Spark-shell(Windows 7.0专业版)在Spark 1.5.2和Spark 1.5.0以及Spark 1.4.1上发生同样的错误
**看起来我的机器肯定有问题 - 任何指针
我试过这个 - -Dspark.akka.timeout = 30000
然而,这并没有解决问题
我的机器上有刻度2.10.3
堆栈跟踪
15/11/28 16:17:32 INFO Slf4jLogger: Slf4jLogger started
15/11/28 16:17:32 INFO Remoting: Starting remoting
15/11/28 16:17:42 ERROR SparkContext: Error initializing SparkContext.
java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds]
at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)
at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53)
at scala.concurrent.Await$.result(package.scala:107)
at akka.remote.Remoting.start(Remoting.scala:180)
at akka.remote.RemoteActorRefProvider.init(RemoteActorRefProvider.scala:184)
at akka.actor.ActorSystemImpl.liftedTree2$1(ActorSystem.scala:618)
at akka.actor.ActorSystemImpl._start$lzycompute(ActorSystem.scala:615)
at akka.actor.ActorSystemImpl._start(ActorSystem.scala:615)
at akka.actor.ActorSystemImpl.start(ActorSystem.scala:632)
at akka.actor.ActorSystem$.apply(ActorSystem.scala:141)
at akka.actor.ActorSystem$.apply(ActorSystem.scala:118)
at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:122)
at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:54)
at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53)
at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1991)
at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:141)
at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1982) …
Run Code Online (Sandbox Code Playgroud) 为什么该方法在NetBeans中出现编译错误
(有问题的错误 - 类型不匹配发现单位:必需数组[Int])
def createArray(n:Int):Array[Int] =
{
var x = new Array[Int](n)
for(i <- 0 to x.length-1)
x(i) = scala.util.Random.nextInt(n)
}
Run Code Online (Sandbox Code Playgroud)
我知道如果有一个if子句 - 而且没有else子句 - 那么为什么我们得到类型不匹配.
但是,我无法解决上述错误 - 除非我添加此行
返回x
错误没有发生,因为编译器认为如果n <= 0会发生什么我尝试用n = 10编写函数作为硬编码
想法?
val c = s.split(" ").filter(_.startsWith("#")).filter(x =>
x.contains("worcester") || x.contains("energy"))
Run Code Online (Sandbox Code Playgroud)
作品
但事实并非如此
val c = s.split(" ").filter(_.startsWith("#")).filter(_.contains("worcester") ||
_.contains("energy"))
Run Code Online (Sandbox Code Playgroud)
我没有清楚地理解为什么后者不起作用 - 可能是我的基础知识存在缺陷
任何帮助将非常感谢Sumit