如何处理 Data Vault 模型中删除的记录(从源)?

Adi*_*tya 5 data-modeling data-vault

我们正在构建一个Data Vault (2.0)模型来捕获 SalesForce 数据。与许多其他源一样,源中的记录被软删除。当我们将数据获取到数据模型时,我们不想过滤任何数据,也不想捕获目标系统中已删除的记录。搜索了处理数据仓库模型中已删除记录的最佳实践,但没有成功。有人可以在这里说明一下吗?我们是否应该添加IsDeleted标志HubSatellite考虑模型的未来扩展以及要遵循的最佳设计实践。此外,此处的任何参考材料链接都会有很大帮助。谢谢。

MLe*_*anc 4

在 DV2.0 规范中,有一个“记录源跟踪卫星”,它完全可以完成您想要做的事情,跟踪每个源插入、更新和删除的记录(如果您有这本书,请参见第 143 页)。

基本上,这是一颗带有哈希键、加载日期、记录源和状态 (I/U/D) 的卫星。每次在源系统中添加、更新或删除记录时,您都会插入一条记录。

在 DV1.0 中,有一个“最后看到”字段,但由于性能问题已被删除(https://danlinstedt.com/allposts/datavaultcat/end_of_updates/