覆盖数据块依赖

Question

在我们的项目中，我们使用 1.3.4 版中的 com.typesafe:config。根据最新的发行说明，集群上的 Databricks 已经提供了这种依赖关系，但版本非常旧（1.2.1）。如何用我们自己的版本覆盖提供的依赖项？

我们使用 maven，在我们的依赖项中我有

<dependency>
    <groupId>com.typesafe</groupId>
    <artifactId>config</artifactId>
    <version>1.3.4</version>
</dependency>

因此，我们创建的 jar 文件应该包含较新的版本。

我通过上传 jar 文件创建了一个 Job。Job 失败是因为找不到 1.2.1 版本之后添加的方法，所以看起来我们提供的库被集群上的旧版本覆盖了。

Answer 1

我们最终利用 Sparks ChildFirstURLClassLoader 解决了这个问题。该项目是开源的，因此您可以在这里亲自查看它以及这里方法的用法。

但作为参考，这里是完整的方法。您需要提供一个要用自己的 jar 覆盖的序列，在我们的例子中它是类型安全配置。

def getChildFirstClassLoader(jars: Seq[String]): ChildFirstURLClassLoader = {
  val initialLoader = getClass.getClassLoader.asInstanceOf[URLClassLoader]

  @tailrec
  def collectUrls(clazz: ClassLoader, acc: Map[String, URL]): Map[String, URL] = {

    val urlsAcc: Map[String, URL] = acc++
      // add urls on this level to accumulator
      clazz.asInstanceOf[URLClassLoader].getURLs
      .map( url => (url.getFile.split(Environment.defaultPathSeparator).last, url))
      .filter{ case (name, url) => jars.contains(name)}
      .toMap

    // check if any jars without URL are left
    val jarMissing = jars.exists(jar => urlsAcc.get(jar).isEmpty)
    // return accumulated if there is no parent left or no jars are missing anymore
    if (clazz.getParent == null || !jarMissing) urlsAcc else collectUrls(clazz.getParent, urlsAcc)
  }

  // search classpath hierarchy until all jars are found or we have reached the top
  val urlsMap = collectUrls(initialLoader, Map())

  // check if everything found
  val jarsNotFound = jars.filter( jar => urlsMap.get(jar).isEmpty)
  if (jarsNotFound.nonEmpty) {
    logger.info(s"""available jars are ${initialLoader.getURLs.mkString(", ")} (not including parent classpaths)""")
    throw ConfigurationException(s"""jars ${jarsNotFound.mkString(", ")} not found in parent class loaders classpath. Cannot initialize ChildFirstURLClassLoader.""")
  }
  // create child-first classloader
  new ChildFirstURLClassLoader(urlsMap.values.toArray, initialLoader)
}

正如您所看到的，如果您指定的 jar 文件不存在于类路径中，它还有一些中止逻辑。