Spark 2.3 java.lang.NoSuchMethodError：io.netty.buffer.PooledByteBufAllocator.metric

Question

SPARK 2.3引发以下异常。谁能帮忙！我尝试添加JAR

308 [驱动程序]错误org.apache.spark.deploy.yarn.ApplicationMaster-用户类引发异常：java.lang.NoSuchMethodError：io.netty.buffer.PooledByteBufAllocator.metric（）Lio / netty / buffer / PooledByteBufAllocatorMetric; java.lang.NoSuchMethodError：io.netty.buffer.PooledByteBufAllocator.metric（）Lio / netty / buffer / PooledByteBufAllocatorMetric; 在org.apache.spark.network.util.NettyMemoryMetrics。（NettyMemoryMetrics.java:76）在org.apache.spark.network.util.NettyMemoryMetrics.registerMetrics（NettyMemoryMetrics.java:80）在org.apache.spark.network中。在org.apache.spark.network.transportContext.createClientFactory（TransportContext.java:99）处的client.TransportClientFactory。（TransportClientFactory.java:109）在org.apache.spark.rpc.netty.NettyRpcEnv。（NettyRpcEnv.scala：71）在org.apache.spark.rpc.netty。

Answer 1

我找到了解决方案。这是因为 hadoop 二进制文件是用旧版本编译的，需要我们替换它们。通过替换它们，我没有遇到任何有关 hadoop 的问题。

你需要更换netty-3.6.2.Final.jar，并netty-all-4.0.23.Final.jar从路径$HADOOP_HOME\share\hadoop与netty-all-4.1.17.Final.jar和netty-3.9.9.Final.jar

这解决了我的问题。如果您有替代解决方案，请分享。