汇编Spark 1.2.0时未解决的依赖关系

Question

我正在尝试在ubuntu上构建Spark 1.2.0,但我遇到依赖问题.

我基本上下载文件解压缩文件夹并运行sbt/sbt/assembly

• sbt = 0.13.6

• scala = 2.10.4

sbt.ResolveException: unresolved dependency: org.apache.spark#spark-
network-common_2.10;1.2.0: configuration not public in 
org.apache.spark#spark-network-common_2.10;1.2.0: 'test'. It was 
required from org.apache.spark#spark-network-shuffle_2.10;1.2.0 test

Answer 1

这个sbt 问题似乎解释了这一点：如果相同的版本已从公共 Maven 存储库中解析出来，这将是尝试获取 test->test 依赖关系的结果。

解决方法是使用 git SHA 版本控制或 SNAPSHOT 来进行该测试依赖项的非最终构建，但除非我们了解如何进入“不良”ivy 缓存状态，否则我们不会了解更多信息。

TL;DR：在构建之前尝试清除 Spark 工件的缓存。

编辑：这已在 sbt 0.13.10-RC1 https://github.com/sbt/sbt/pull/2345中修复，请更新