Apache Sqoop 和 Hive 之间的差异。我们可以一起使用两者吗？

Question

Apache Sqoop 和 Hive 有什么区别？我知道 sqoop 用于将数据从 RDBMS 导入/导出到 HDFS，而 Hive 是 Hadoop 之上的 SQL 层抽象。是否可以使用Sqoop将数据导入HDFS，然后使用Hive进行查询？

Answer 1

是的你可以。事实上，很多人使用 sqoop 和 hive 的目的正是您所说的。

在我的项目中，我要做的就是从我的 RDBMS（Oracle）加载历史数据，并将其移动到 HDFS。我为该路径定义了 Hive 外部表。这允许我运行配置单元查询来进行转换。此外，我们过去常常在这些数据之上编写 MapReduce 程序来进行各种分析。