使用Sqoop将数据从MySQL导入Hive

Question

我使用Sqoop(版本1.4.4)将数据从MySQL导入Hive.数据将是其中一个表的子集,即表中的几列.是否有必要事先在Hive中创建表.或者,如果数据不在Hive中,则导入数据将创建命令中指定的名称？

Answer 1

如sqoop文档中所述,如果在命令中使用--hive-import参数,则不必创建任何配置单元表

例:

sqoop import --connect jdbc:mysql://mysql_server:3306/db_name --username mysql_user --password mysql_pass --table table_name --hive-import

另外...... 如果要在每日基础上安排完整数据导入,请考虑使用--hive-overwrite参数