是否有 Hadoop 组件的兼容性矩阵?

vya*_*k78 5 hadoop apache-spark

我想知道生态系统的各种 Hadoop 组件是否有兼容性矩阵?

每次 Hadoop 升级都有很大的兼容性影响,例如:

  • Apache Spark 2.4 不支持 Hadoop v3,
  • Hadoop 不支持 Java 9 和 10,
  • 等等...

我知道像 Hortonworks 这样的供应商会发布组件列表及其发行版的每个版本,但这并不适用于广大公众,因为这包括修补过的组件。

是否必须通过 Jira 上的所有错误跟踪器为每个工具找出兼容性问题?

Den*_*din 1

像 Cloudera/Hortonworks 这样的公司所做的关键事情之一就是采用构成 Hadoop 的所有开源项目并确保它们能够很好地协同工作。从功能角度和安全角度来看,都进行了大量测试和调整,以确保所有内容一起形成正确的版本。

既然您已经了解了仅发布一个发行版需要付出多少努力,并且相对强烈地关注最新版本,您可能会明白,除了这些发行版之外,不会有“一切如何与一切协同工作”的总体概述。

全面披露:我是 Cloudera 的员工,但即使没有这一点,我仍然建议您尽可能使用发行版