玩!和Spark不兼容的Jackson版本

Sim*_*mon 14 sbt playframework apache-spark

运行Spark 2.1时遇到问题!2.5.9.

我得到以下运行时异常:

com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.7.6
Run Code Online (Sandbox Code Playgroud)

在以前版本的Spark(1.6)中,我设法在我的build.sbt文件中添加了这个错误:

dependencyOverrides ++= Set("com.fasterxml.jackson.core" % "jackson-databind" % "2.4.4")
Run Code Online (Sandbox Code Playgroud)

但它不适用于Spark 2.我试图改变dependencyOverrides2.7.2和2.8.5中使用的版本,但我不知道应该使用哪一个以及为什么.

任何线索将非常感激;)

Sim*_*mon 15

在dependencyOverrides中使用版本2.6.x可以工作(我仍然不知道是否有其他方法可以找到一个有效的版本,而不是一个接一个地测试一个版本).

  • 要查找正确的版本,请在maven repo上查找Spark的版本,然后查看该版本的依赖项.使用那里列出的Jackson版本(根据https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11/2.1.0,Spark 2.1.1为2.6.5) (4认同)