动态分区+在HIVE上创建AS

Adr*_*chi 12 mysql sql hadoop hive database-partitioning

我正在尝试使用另一个表创建一个新表,CREATE AS并在HiveCLI上进行动态分区.我正在从Hive官方维基中学习,其中有这样的例子:

 CREATE TABLE T (key int, value string) 
 PARTITIONED BY (ds string, hr int) AS
 SELECT key, value, ds, hr+1 hr1 
   FROM srcpart 
   WHERE ds is not null 
   And hr>10;
Run Code Online (Sandbox Code Playgroud)

但是我收到了这个错误:

FAILED:SemanticException [错误10065]:

CREATE TABLE AS SELECT命令无法指定目标表的列列表

资料来源:https://cwiki.apache.org/confluence/display/Hive/DynamicPartitions#DynamicPartitions-Syntax

Sim*_*ish 21

由于您已经知道目标表的完整模式,因此请先尝试创建它并使用LOAD DATA命令填充它:

SET hive.exec.dynamic.partition.mode=nonstrict;

CREATE TABLE T (key int, value string) 
PARTITIONED BY (ds string, hr int);

INSERT OVERWRITE TABLE T PARTITION(ds, hr) 
SELECT key, value, ds, hr+1 AS hr 
   FROM srcpart 
   WHERE ds is not null 
   And hr>10;
Run Code Online (Sandbox Code Playgroud)

注意:由于您正在执行完整的动态分区插入,因此需要set命令.

  • 如果你*不知道目标表的完整模式,那么最好的方法是什么?是否可以仅使用配置单元查询从未分区的表生成分区表? (9认同)