如何将mysql表转移到hive？

Question

我有一个很大的mysql表,我想转移到Hadoop/Hive表.是否有标准命令或技术将简单(但很大)的表从Mysql传输到Hive？该表主要存储分析数据.

Answer 1

1. 首先下载mysql-connector-java-5.0.8并将jar放入Sqoop的lib和bin文件夹中

2. 在 Hive 中使用与mysql 中一样的精确字段名称和类型创建表定义

   sqoop import --verbose --fields-termminated-by ',' --connect jdbc:mysql://localhost/test --table 员工 --hive-import --warehouse-dir /user/hive/warehouse --fields -terminate-by ',' --split-by id --hive-table 员工

测试 - 数据库名称

员工 - 表名称（存在于测试中）

/user/hive/warehouse - HDFS 中必须导入数据的目录

--split-by id - id 可以是表“employee”的主键

--hive-table employee - 其定义存在于 Hive 中的员工表

Sqoop 用户指南（学习 Sqoop 的最佳指南之一）