"增量负荷"是什么意思?

Spr*_*dzy 11 database terminology data-warehouse

我在阅读文章时经常看到" 增量加载 " 这个词

真正(技术上)意味着什么?这意味着什么?

使用用例的解释是受欢迎的.

Kri*_*s C 13

它通常意味着仅将自上次加载以来已更改的记录(插入,更新等)加载到仓库中; 而不是将所有数据(所有记录,包括自上次加载后未更改的那些记录)完全加载到仓库中.

优点是它减少了从系统传输到系统的数据量,因为完全加载可能需要数小时/天才能完成,具体取决于数据量.

主要缺点是可维护性.在满载的情况下,如果出现错误,您可以重新运行整个负载,而无需在清理/准备方面做太多其他事情.使用增量加载时,通常需要按顺序加载文件.因此,如果您对一个批次有问题,其他人会在其后排队直到您更正它.或者,您可能会在几天前发现批次中的错误,并且需要在更正后重新加载该批次,然后是每个后续批次,以确保仓库中的数据一致.

  • 增量加载是否意味着如果源中不存在这些行,它也会从目标中删除行?应该澄清这一点,因为插入和更新是明确的。 (2认同)