bha*_*han 10 scala jackson maven maxmind apache-spark
我正在尝试在一个spark任务中运行MaxMind的geoIP,但是我从maxmind调用到jackson-databind库得到一个NoSuchMethodException.我已经使用mvn排除删除了所有其他版本的jackson-databind,但是在mvn clean之后错误仍然存在.我错过了什么?
没有依赖冲突:
mvn dependency:tree -Dverbose -Dincludes=com.fasterxml.jackson.core:jackson-databind
...
[INFO] --- maven-dependency-plugin:2.8:tree (default-cli) @ sift-etl ---
[INFO] com.sift.etl:sift-etl:jar:0.1.6
[INFO] \- com.maxmind.geoip2:geoip2:jar:2.6.0:compile
[INFO] \- com.maxmind.db:maxmind-db:jar:1.2.0:compile
[INFO] \- com.fasterxml.jackson.core:jackson-databind:jar:2.7.0:compile
错误:
Exception in thread "main" java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.node.ArrayNode.<init>(Lcom/fasterxml/jackson/databind/node/JsonNodeFactory;Ljava/util/List;)V
at com.maxmind.db.Decoder.decodeArray(Decoder.java:272)
编辑:我有很多org.codehaus.jackson,我还需要排除这些吗?如何解决名称空间的差异?
编辑:这是内置于基于scala的项目,在Apache Spark中运行.使用maven-shade-plugin 2.4将jar编译成带阴影的jar
编辑:这是阴影罐上jar tvf的完整输出:https://drive.google.com/file/d/0B2ZVKNsRXgTbeUdEU2ZhM2J3dmc/view?usp =sharing
这是jackson-databind的grep结果:
0 Mon Jan 25 09:53:54 PST 2016 META-INF/maven/com.fasterxml.jackson.core/jackson-databind/
151 Mon Jan 25 09:53:54 PST 2016 META-INF/maven/com.fasterxml.jackson.core/jackson-databind/pom.properties
5192 Mon Jan 25 09:53:54 PST 2016 META-INF/maven/com.fasterxml.jackson.core/jackson-databind/pom.xml
和ArrayNode:
/usr/lib/jvm/sift-jdk1.8.0_66/bin/jar -tvf target/sift-etl-0.1.6-shaded.jar | grep ArrayNode
15060 Sat Jan 23 01:33:14 UTC 2016 shaded/parquet/org/codehaus/jackson/node/ArrayNode.class
1309 Sat Jan 23 01:33:18 UTC 2016 org/apache/lucene/index/DocumentsWriterDeleteQueue$QueryArrayNode.class
1645 Sat Jan 23 01:33:18 UTC 2016 org/apache/lucene/index/DocumentsWriterDeleteQueue$TermArrayNode.class
18145 Sat Jan 23 01:33:20 UTC 2016 com/fasterxml/jackson/databind/node/ArrayNode.class
1058 Sat Jan 23 01:33:22 UTC 2016 org/apache/commons/configuration/plist/XMLPropertyListConfiguration$ArrayNode.class
初始化和查询maxmind GeoIP DB在测试中成功运行.该错误仅在作为spark任务运行时在生产中发生 - 在使用maven-shade打包后.
maven-shade插件配置:http://pastebin.com/QzrhM5Ee
阴影jar不包含jackson-databind jar,但jar中的所有*.class文件是否有意义?
pal*_*tor 10
从版本2.2.0的jar开始,删除ArrayNode带有a JsonNodeFactory和a List<JsonNode>作为参数的构造函数的版本com.fasterxml.jackson.core:jackson-databind,因此这看起来像maxmind-db库中的一个错误,因为它正在拉入版本2.7.0 jackson-databind但是(至少间接地)调用一种过时的方法.
如果可能,您可以尝试jackson-databind通过明确地包含在您的pom文件中来降级依赖关系,如下所示:
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
<version>2.1.0</version>
</dependency>
Run Code Online (Sandbox Code Playgroud)
老实说,我无法使用<relocation>阴影 jar 配置或降级jackson-databind来解决这个问题,所以我最终只是com.maxmind.geoip2按照Github 问题线程的最新建议降级,它引导我来到这里,它奏效了!
<!-- Using an old version b/c https://github.com/maxmind/GeoIP2-java/issues/57 -->
<dependency>
<groupId>com.maxmind.geoip2</groupId>
<artifactId>geoip2</artifactId>
<version>2.5.0</version>
</dependency>
Run Code Online (Sandbox Code Playgroud)
通过将以下重定位添加到阴影 jar 配置中解决了这个问题:
<relocation>
<pattern>com.fasterxml.jackson.core</pattern>
<shadedPattern>com.shaded.fasterxml.jackson.core</shadedPattern>
</relocation>
| 归档时间: |
|
| 查看次数: |
2685 次 |
| 最近记录: |