小编Art*_*r.A的帖子

我正在尝试编写一个使用azure-cosmosdb-spark连接到CosmosDB的Spark应用程序.但是,即使我使用正确版本的Spark和Scala,我仍然会遇到依赖冲突.我设法使用具有相同Spark版本的Azure Databricks集群上的连接器,所以我有点迷失在这里的问题.

我已经阅读了这些帖子(开发scala spark应用程序,连接到azure CosmosDB和Spark库,当cosmosdb Lib时),但仍然无法解决我的问题.

以下是我尝试使用连接器的SBT配置的一部分:

sparkVersion in ThisBuild := "2.2.0" // I also tried "2.2.1"
sparkComponents in ThisBuild += "mllib"
spIgnoreProvided in ThisBuild := true

scalaVersion in ThisBuild := "2.11.12"
parallelExecution in ThisBuild := false
scalacOptions in Compile ++= Seq("-implicits", "-feature")

lazy val root = (project in file("."))
  .aggregate(shaker, ...)
  .settings(Publish.notPublished: _*)

lazy val shaker = project
  .settings(name := "project-name")
  .settings(libraryDependencies += "com.github.pureconfig" %% "pureconfig" % "0.9.0")
  .settings(libraryDependencies += "com.github.scopt" %% "scopt" …