将OLTP关系数据库转换为数据仓库模型

Question

将数据从典型的实体关系OLTP数据库模型加载到Kimball星型模式数据仓库/市场模型中的常见设计方法是什么？

• 您是否使用暂存区域执行转换然后加载到仓库？
• 如何链接仓库和OLTP数据库之间的数据？
• 在哪里/如何管理转换过程 - 在数据库中作为sprocs,dts/ssis包或应用程序代码中的SQL？

Answer 1

就个人而言,我倾向于按如下方式工作:

1. 首先设计数据仓库.特别是,设计作为DW的一部分所需的表,忽略任何临时表.
2. 使用SSIS设计ETL,但有时使用SSIS在相关数据库中调用存储过程.
3. 如果需要任何临时表作为ETL的一部分,那很好,但同时要确保它们得到清理.仅在作为单个ETL步骤系列的一部分使用的临时表应在这些步骤完成后被截断,无论是否成功.
4. 我有SSIS包引用OLTP数据库至少将数据拉入登台表.根据具体情况,他们可以将OLTP表直接处理到数据仓库中.所有这些查询都执行WITH(NOLOCK).
5. 文件,文件,文件.明确每个包使用的输入以及输出的位置.确保记录选择输入的标准(自上次成功以来最近24小时？新身份值？所有行？)

这对我来说效果很好,但我承认我没有完成很多这些项目,也没有做过任何大项目.