将不匹配的查找行插入表后如何继续该过程？

Question

在数据流中,是否可以进行查找,插入不匹配的行,重新查找,然后继续使用完整(原始)数据集？

我看不到你如何获得/重新使用插入的行后OLE DB Destination,我也看不到它Multicast可以等到查找插入分支完成(然后将所有它们联合起来).

如果无法在数据流中完成,我是否必须在先前的数据流任务中重复所有过滤逻辑,只是先进行查找插入？

这可能是一个明显/已经回答的问题,但搜索后我找不到多少.

Answer 1

在单个数据流中是不可能的。如果您对Google感兴趣的话，周围有各种各样的“解决方案”，但它们忽略了体系结构的现实，即行沿着缓冲区/批处理中的数据流顺着并行处理。

因此，您有多个“新”行到达2个相邻缓冲区。无法确保在缓冲区2到达上游查找之前，您已经完成了对缓冲区1中“新”行的下游处理。这将导致将多个“新”行插入到同一键的查找目标表中。

您需要具有执行所有必需的查找插入的上游数据流任务。从整体上看，这将是一个更有效的解决方案，因为您的查询插入可以使用快速加载和表锁定，而下游查询可以是完整缓存。