如何将新数据附加到现有的配置单元表

Question

如何将记录追加到现有的分区 Hive 表？例如，我有一个名为“ip_country”的现有外部表，数据集是 testdata1。如果数据集增长，比如我第二天的数据集是 testdata1 和 testdata2，那么如何将新数据即“testdata2”附加到“ip_country”配置单元表。

Answer 1

它可以通过几种方式实现（完全取决于您的要求）

1. 如果您不打算覆盖分区中的现有记录（我的意思是您没有大的历史数据，比如 10 年的数据），那么 Insert Overwrite 可能适合。

INSERT OVERWRITE TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...) [IF NOT EXISTS]] select_statement1 FROM from_statement;

2. 如果您不担心分区中的重复项，那么 Insert Into 可能适合（老实说，我不喜欢有重复记录）。

INSERT INTO TABLE tablename1 [PARTITION (partcol1=val1, partcol2=val2 ...)] select_statement1 FROM from_statement;

3. 如果你有历史数据和增量数据，那么历史数据可以插入一次，增量数据（根据你选择的频率每天/每周/每两周）可以使用插入覆盖插入