标签: analytics-for-apache-hdp

如何在 ORC 分区 Hive 表的中间添加一列,并且仍然能够使用新结构查询旧分区文件

目前,我在 Prod 中有一个分区 ORC“托管”(错误地创建为内部优先)Hive 表,其中至少有 100 天的数据,按年、月、日(约 16GB 数据)分区。

这个表大约有160列。现在我的要求是在这个表的中间添加一列,并且仍然能够查询旧数据(分区文件)。如果新添加的列对旧数据显示为空就可以了。

到目前为止我做了什么?

1)首先使用下面的方法将表转换为外部表,以在删除之前保留数据文件

alter table <table_name> SET TBLPROPERTIES('EXTERNAL'='TRUE');
Run Code Online (Sandbox Code Playgroud)

2)删除并重新创建中间有新列的表,然后更改表以添加分区文件

但是,我在娱乐后无法读取表格。我收到此错误消息

[Simba][HiveJDBCDriver](500312) Error in fetching data rows: *org.apache.hive.service.cli.HiveSQLException:java.io.IOException: java.io.IOException: ORC does not support type conversion from file type array<string> (87) to reader type int (87):33:32;
Run Code Online (Sandbox Code Playgroud)

还有其他方法可以实现此目的吗?

hive orc analytics-for-apache-hdp

2
推荐指数
1
解决办法
3205
查看次数

标签 统计

analytics-for-apache-hdp ×1

hive ×1

orc ×1