我有一个由两个奴隶和一个主人制作的集群并设置我向火花大师(192.168.1.64)提交一个jar(scala):
spark-submit --master spark://spark-master:7077 --class tests.elements target/scala-2.10/zzz-project_2.10-1.0.jar
经过一段时间后运行得很好,终端上的最后几行突然停止
...
15/08/19 17:45:24 INFO scheduler.TaskSchedulerImpl: Adding task set 411292.0 with 6 tasks
15/08/19 17:45:24 WARN scheduler.TaskSetManager: Stage 411292 contains a task of very large size (2762 KB). The maximum recommended task size is 100 KB.
15/08/19 17:45:24 INFO scheduler.TaskSetManager: Starting task 2.0 in stage 411292.0 (TID 1832, 192.168.1.64, PROCESS_LOCAL, 2828792 bytes)
15/08/19 17:45:24 INFO scheduler.TaskSetManager: Starting task 0.0 in stage 411292.0 (TID 1833, 192.168.1.62, PROCESS_LOCAL, 2310009 bytes)
15/08/19 17:45:24 INFO scheduler.TaskSetManager: Starting …我正在尝试为我在sbt/scala中编写的一些代码生成文档.
这是sbt配置文件
name := "My project"
version := "1.0"
libraryDependencies += "org.scala-lang" % "scala-compiler" % scalaVersion.value
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.0"
libraryDependencies += "org.apache.spark" %% "spark-graphx" % "1.2.0"
生成的文档没有错误,但生成的文档文件包含如下内容:
def getGraph(): <error>
def getLabelMap(): HashMap[<error>, String]
def setGraph(graph: <error>): Unit
def setLabelMap(map: HashMap[<error>, String]): Unit
所有的<error>领域都属于org.apache.spark.graphx和org.apache.spark包(在本例线之上,而不是<error>我应该得到Graph,VertexId等).
我应该在sbt配置文件中添加什么才能解决这个问题？干杯
如何通过可汗学院API获取主题的文章？我可以看到它如何与练习和视频一起使用，但是文章呢？
例如查询
http://www.khanacademy.org/api/v1/topic/beginners-art-history
返回页面内容
https://www.khanacademy.org/humanities/art-history-basics/beginners-art-history/
如何获取其中的“西方文化简史”文章的内容？