我们正在使用Cloudera CDH 4,并且能够按预期将表从Oracle数据库导入到HDFS仓库中。问题是我们的数据库中有成千上万个表,而sqoop只支持一次导入一个表。
哪些选项可用于将多个表导入HDFS或Hive?例如,一次将200个表从oracle导入到HDFS或Hive的最佳方法是什么?
到目前为止,我看到的唯一解决方案是为每个表导入创建一个sqoop作业,然后分别运行它们。由于Hadoop设计用于处理大型数据集,因此似乎应该有更好的方法。
hadoop hive hdfs sqoop
hadoop ×1
hdfs ×1
hive ×1
sqoop ×1