如何防止SSIS从数据库中已存在的文件导入数据？

Question

每天我都会将一些csv数据加载到我的表中.我的表有日期列,现在我需要使用回滚功能,这样,如果数据已经存在于我的表中,则必须回滚,否则必须根据我的Asofdate参数进行插入.

我知道这有点令人困惑,让我更清楚.

我的表有eid,ename,asofdate列,现在当我每天都插入新文件时,它必须查看该文件是否已经基于asofdate存在于该表中,如果数据存在,它应该回滚数据.

Answer 1

正如@Diego所提到的,您将Lookup transformation在数据流任务中使用a 来实现该功能.

您的数据流任务看起来像这样.这里,Flat文件源读取CSV文件,然后将数据传递给Lookup转换.此转换将检查目标表中的现有数据(例如,表名为dbo.Destination).Lookup转换的配置显示在下一个屏幕截图中.如果没有匹配的记录,则CSV文件中的数据将被发送到OLE DB目的地,否则数据将被丢弃.

在Lookup transformation,您将在"连接"选项卡上选择目标数据库表.在"列"部分,您将验证要检查现有数据的所有列.在这里,在这种情况下,列EID,名称和asofdate从CSV文件来进行验证对数据库中的表dbo.Destination相同名称的列.如果这三列的传入值与表中的任何行匹配,则数据将不会在流中进一步发送.

希望能给你一个想法.