有趣的是,我们正在评估ETL工具,用于预处理报表数据(例如公用事业账单,银行对账单)以进行打印.
一些数据来自单个平面文件,具有不同的记录类型.
例如,具有"01"的记录类型作为第一个字段将是地址数据.这将有名称和地址字段.带有"02"的记录类型将是汇总数据,包括余额和总计.记录类型"03"将是语句中的行项目.
每个语句都有一条01和02条记录,以及多条03条记录.我可以预解析文件并拆分成3个文件以加载到表中,但这不太理想.
我们接受文件并对其进行一些操作(例如,在地址记录中添加几个字段,并可能进行一些总计/验证),然后以几乎相同的格式发送文件(但是使用额外的字段)添加到我们的印刷作品计划.
你会如何在SSIS中做到这一点？
SSIS中变量记录的一个大问题是,由于连接管理器只能处理单个布局,因此您无法获得连接管理器帮助布局的任何好处.
通常情况下,最终会得到一个CRLF终止的平面文件,其中包含两列:recordtype和recorddata.然后将条件拆分放入并解析不同路径上的每种类型的行.解析将必须拆分剩余的记录数据并将其放入列中并正常转换,使用派生列转换或脚本转换以及可能的转换转换.
如果您有很多要做的包,我会认真考虑编写一个自定义组件,它产生3个已经转换为目标类型的输出.