Hadoop-common,Hadoop-core和Hadoop-client之间的区别？

Question

我是Hadoop的新手,想知道Hadoop-common,Hadoop-core和Hadoop-client之间的区别是什么？

顺便说一句,对于给定的类,我如何知道Maven中哪个工件包含它？例如,哪一个包含org.apache.hadoop.io.Text？

Answer 1

从高级角度帮助提供有关Hadoop-common,Hadoop-core和Hadoop-client之间差异的一些其他详细信息:

• Hadoop-common是指支持Hadoop模块的常用实用程序和库.
• Hadoop-core与Hadoop-common相同; 根据https://hadoop.apache.org/,它于2009年7月更名为Hadoop-common .
• Hadoop-client是指用于与Hadoop的通用组件(HDFS,MapReduce,YARN)通信的客户端库,包括但不限于日志记录和编解码器.

一般来说,对于构建提交给YARN的应用程序的开发人员,运行MR作业,或者从HDFS访问文件使用Hadoop客户端库.

Answer 2

为了构建 Hadoop Map-Reduce 应用程序，您只需要 hadoop 客户端依赖项。（使用新的 API）。像 hadoop-hdfs、hadoop-common、hadoop-clientapp、hadoop-yarn-api 这样的依赖关系都是由此解决的。