小编Sum*_*Pal的帖子

如何修复 - 期货在[10000毫秒]后超时 - 在Spark Shell - WIndows 7 Professional上

从命令行运行Spark-shell(Windows 7.0专业版)在Spark 1.5.2和Spark 1.5.0以及Spark 1.4.1上发生同样的错误

**看起来我的机器肯定有问题 - 任何指针

我试过这个 - -Dspark.akka.timeout = 30000

然而,这并没有解决问题

我的机器上有刻度2.10.3

堆栈跟踪

15/11/28 16:17:32 INFO Slf4jLogger: Slf4jLogger started
15/11/28 16:17:32 INFO Remoting: Starting remoting
15/11/28 16:17:42 ERROR SparkContext: Error initializing SparkContext.
java.util.concurrent.TimeoutException: Futures timed out after [10000 milliseconds]
        at scala.concurrent.impl.Promise$DefaultPromise.ready(Promise.scala:219)
        at scala.concurrent.impl.Promise$DefaultPromise.result(Promise.scala:223)
        at scala.concurrent.Await$$anonfun$result$1.apply(package.scala:107)
        at scala.concurrent.BlockContext$DefaultBlockContext$.blockOn(BlockContext.scala:53)
        at scala.concurrent.Await$.result(package.scala:107)
        at akka.remote.Remoting.start(Remoting.scala:180)
        at akka.remote.RemoteActorRefProvider.init(RemoteActorRefProvider.scala:184)
        at akka.actor.ActorSystemImpl.liftedTree2$1(ActorSystem.scala:618)
        at akka.actor.ActorSystemImpl._start$lzycompute(ActorSystem.scala:615)
        at akka.actor.ActorSystemImpl._start(ActorSystem.scala:615)
        at akka.actor.ActorSystemImpl.start(ActorSystem.scala:632)
        at akka.actor.ActorSystem$.apply(ActorSystem.scala:141)
        at akka.actor.ActorSystem$.apply(ActorSystem.scala:118)
        at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:122)
        at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:54)
        at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53)
        at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1991)
        at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:141)
        at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1982) …
Run Code Online (Sandbox Code Playgroud)

shell apache-spark

6
推荐指数
0
解决办法
3729
查看次数

Scala - 找不到类型不匹配单位:必需数组[Int]

为什么该方法在NetBeans中出现编译错误

(有问题的错误 - 类型不匹配发现单位:必需数组[Int])

  def createArray(n:Int):Array[Int] =
  {
      var x = new Array[Int](n)
      for(i <- 0 to x.length-1)
        x(i) = scala.util.Random.nextInt(n)
  }
Run Code Online (Sandbox Code Playgroud)

我知道如果有一个if子句 - 而且没有else子句 - 那么为什么我们得到类型不匹配.

但是,我无法解决上述错误 - 除非我添加此行

返回x

错误没有发生,因为编译器认为如果n <= 0会发生什么我尝试用n = 10编写函数作为硬编码

想法?

types scala mismatch

2
推荐指数
1
解决办法
4743
查看次数

为什么其中一个拆分和过滤器工作而不是另一个?

val c = s.split(" ").filter(_.startsWith("#")).filter(x =>  
  x.contains("worcester") || x.contains("energy"))
Run Code Online (Sandbox Code Playgroud)

作品

但事实并非如此

val c = s.split(" ").filter(_.startsWith("#")).filter(_.contains("worcester") || 
  _.contains("energy"))
Run Code Online (Sandbox Code Playgroud)

我没有清楚地理解为什么后者不起作用 - 可能是我的基础知识存在缺陷

任何帮助将非常感谢Sumit

scala filter

1
推荐指数
1
解决办法
272
查看次数

标签 统计

scala ×2

apache-spark ×1

filter ×1

mismatch ×1

shell ×1

types ×1