Informatica - 重复消除

Question

我有一个包含 10 条记录的平面文件，其中 5 条记录是重复记录（唯一键列：Customer_Id和source_system）。该平面文件必须加载到 Oracle 表，这是第一次加载。

如何消除其中的重复项？

Answer 1

有很多方法可以解决这个问题：

1. 将数据加载到临时表，然后只选择不同的记录
2. 使用排序器或聚合器转换，然后选择不同的选项（如果我没记错的话，在属性选项卡中）
3. 使用动态查找，如果记录尚未插入，它只会将记录插入缓存。
4. 在表达式转换中使用变量端口，通过使用过滤器我们可以删除重复记录，即使是关系表或平面文件。由于动态查找成本高，这种方式更可取。