可以自己搭建数据仓库吗？

Question

我在保险公司工作一年多一点，我的 SQL 经验大约 2-3 年，包括 SSIS、SSRS。我们有大约 1 TB 的数据。

可以自己搭建数据仓库吗？我应该根据我的经验这样做吗？

我可以从很多材料和 SQL 组中获得帮助。但是，还是太复杂了？

谢谢

Answer 1

这很像问：“我可以自己盖房子吗？”

这在很大程度上取决于您对“房屋”的定义。首先与您的内部用户交谈以构建一组需求 - 无论是谁构建它，这都需要发生。

完成构建需求后，您就可以开始勾勒出满足这些需求所需构建的内容。

然后，您可以开始为需要构建的内容构建时间估计。

当您完成此过程时，您将更好地了解房屋的外观以及您是否可以使用现有的工具箱和技能自行建造它。

Answer 2

与@Brent 的声明相同，“这在很大程度上取决于您对“房屋”的定义是什么”，您需要了解“数据仓库”对请求它的人意味着什么。术语“数据仓库”有时会在不应该使用的情况下使用。他们是否想要一个将数据聚合回最初时间并每晚加载并且缺少当前交易数据的系统？他们是否想要实时报告，包括延迟不超过 1 到 5 分钟的当前交易数据？

我可以告诉你，从（不太愉快的）经验来看：

1. 真正的数据仓库是看待世界以及数据存储和查询方式的不同方式。不要错误地认为您将只是使用更大的表。多年在事务方面工作的经验，即使是使用 SSIS 和 SSRS，也无法神奇地创建一个真正的数据仓库。（相反，擅长数据仓库并不会神奇地转化为交易方面的任何好处！）
2. 您应该开始阅读数据仓库概念以了解您正在查看的内容，因为这将有助于获得“数据仓库是什么意思”的正确答案。如果你不知道这个词是什么意思，那么问那些问你这个的人不会很有成效。
3. 与多年来一直在使用数据仓库工作的人交谈，以获得比我在这里给出的关于从哪里开始你的教育过程更好的指示。特别是尝试了解是什么使数据仓库成为数据仓库。
4. 与向您提出此要求的人要清楚，在适当的数据仓库的设计中存在权衡，因此稍后更改要求（例如采用历史报告系统，然后在一年内引入近乎实时的数据）稍后）将导致要么花费很长时间来修改系统以适应新的需求，要么可能通过强制它执行相互冲突的功能来破坏系统的稳定性，从而随着时间的推移，代码库变得越来越难以维护，直到整个由于即使是简单的请求每次都需要数周才能完成和/或破坏现有功能，因此项目成为一种负担。