哪个ETL起点是SQL Server集成最简单,最有效的？

Question

我是ETL世界的新手,我正在尝试安排从另一家公司发送给我们的数据文件,以便它可以ETLed到数据仓库.我将通过SQL Server 2014上的Integration Services开发ETL.基本上,我有五种类型的记录:帐户记录(与个人帐户相关的元记录),购买记录等.

为方便起见,帐户记录只提供有关帐户持有人的信息(姓名,帐户ID,性别等),购买记录显示购买历史及其金额等

我的问题是:向我们发送记录的公司问我:你想如何安排记录？

1. 多标题/预告片:每个标题指示我们获取的记录类型(header1将为Account)
2. 多个文件(每种类型的记录都在一个单独的文件中)
3. 提及跟随他的记录的人.

例如:

Person X
Account Records....
Purchase Records...
... 
Person Y
Account Records....
Purchase Records...

Answer 1

对于SSIS作为ETL工具,请始终在文件中使用相同的格式.

SSIS可以处理Header记录(我们可以跳过它们).它无法处理预告片记录(因为我们的列不再一致.

1和3都违反了上述规定.

由于SSIS允许您访问.NET框架,您可以编写所有自定义解析,然后您可以处理任何文件格式,甚至是1或3,但这对您的公司来说很少是明智的投资,除非您只是同花顺与.NET开发人员想要编写ETL.使用Out Of the Box组件,直到它们不能满足手头的任务,然后使用脚本任务或组件进行补偿.当这是你的包裹的起始地点时,它通常充满危险.