hadoop aws版本兼容性

Question

有没有关于aws java sdk,hadoop,hadoop-aws bundle,hive,spark之间哪些版本兼容的参考？

例如,我知道Spark与Hive 2.1.1之上的hive版本不兼容

Answer 1

您不能从构建hadoop-aws的版本中引入更高版本的AWS开发工具包,并期望s3a连接器能够正常工作.永远.现在,在S3A故障排除文档中已经清楚地写下了这一点

无论您遇到什么问题,更改AWS SDK版本都不会解决问题,只会更改您看到的堆栈跟踪.

考虑到AWS团队推出新SDK的速度,这可能看起来令人沮丧,但您必须了解(a)API经常在版本之间发生不兼容的变化(如您所见),以及(b)每个版本都介绍/移动最终导致问题的错误.

以下是AWS SDK更新中出现的3.x时间轴.

• 移动1.11.86并在负载下挂起一些测试.
• 修复:移至1.11.134,导致日志充满AWS,告诉我们在读取时调用abort().
• 修复:移至1.11.199,导致日志充满堆栈跟踪.
• 修复:移至1.11.271,阴影JAR拉入netty无阴影.

AWS SDK JAR的每次升级都会导致某个问题.有时编辑代码并重新编译,最常见的是:日志填满虚假警报消息,依赖性问题,线程怪癖等等.这些事情可能需要一段时间才能浮出水面.

当你得到一个hadoop版本时你所看到的不仅仅是一个被编译的aws-sdk JAR,你得到一个hadoop-aws JAR,其中包含解决方案和修复程序,用于解决已经引入的任何问题以及最小的问题.在hadoop发布之前进行了4周的测试.

这就是为什么,不,你不应该更改JAR,除非你打算对s3a客户端代码进行完整的端到端重新测试,包括负载测试.我们鼓励您这样做,hadoop项目总是欢迎对我们的预发行代码进行更多测试,并准备好使用Hadoop 3.1二进制文件.但是试图通过改变JAR来自己做？可悲的是,一个孤立的运动在痛苦中.