SSIS任务导致列计数不一致导入？

InputFolder硬连接到源文件夹.在我的例子中,它是C:\ssisdata\Kipreal
CurrentFileName是文件的名称.在设计期间,它input5columns.csv会在运行时发生变化.
查询是一个表达式 "SELECT col1, col2, col3, col4, col5 FROM " + @[User::CurrentFilename]

变量窗口

连接经理

使用JET OLEDB驱动程序设置与输入文件的连接.按照链接文章中的描述创建后,我将其重命名为FileOLEDB并在ConnectionManager上设置表达式"Data Source=" + @[User::InputFolder] + ";Provider=Microsoft.Jet.OLEDB.4.0;Extended Properties=\"text;HDR=Yes;FMT=CSVDelimited;\";"

控制流

我的控制流看起来像嵌套在Foreach文件枚举器中的数据流任务

控制流

Foreach文件枚举器

我的Foreach文件枚举器配置为对文件进行操作.我在目录上放了一个表达式,@[User::InputFolder] 告知此时,如果该文件夹的值需要更改,它将在Connection Manager和文件枚举器中正确更新.在"检索文件名"中,选择"名称和扩展名",而不是默认的"完全限定"

Foreach文件枚举器 - 集合选项卡

在"变量映射"选项卡中,将值分配给@[User::CurrentFileName]变量

Foreach文件枚举器 - 变量映射选项卡

此时,循环的每次迭代都会更改其值@[User::Query以反映当前文件名.

数据流

这实际上是最简单的一块.使用OLE DB源并按指示连接它.

数据流

使用FileOLEDB连接管理器并将数据访问模式更改为"SQL变量的命令".@[User::Query]在那里使用变量,单击确定,您就可以开始工作了. oledb文件源

样本数据

我创建了两个示例文件input5columns.csv和input7columns.csv 5中的所有列都在7中,但是7以不同的顺序排列它们(col2是顺序位置2和6).我否定了7中的所有值,以便明确显示正在操作哪个文件.

col1,col3,col2,col5,col4
1,3,2,5,4
1111,3333,2222,5555,4444
11,33,22,55,44
111,333,222,555,444

Run Code Online (Sandbox Code Playgroud)

和

col1,col3,col7,col5,col4,col6,col2
-1111,-3333,-7777,-5555,-4444,-6666,-2222
-111,-333,-777,-555,-444,-666,-222
-1,-3,-7,-5,-4,-6,-2
-11,-33,-77,-55,-44,-666,-222

Run Code Online (Sandbox Code Playgroud)

运行包会导致这两个屏幕截图

5列文件 7列文件

少了什么东西

我不知道如何告诉基于查询的方法,如果列不存在就没问题.如果有一个唯一的密钥,我想你可以定义你的查询只有那些必须在那里的列,然后对文件执行查找以尝试获取应该在那里的列,如果列没有,则不会使查找失败存在.虽然漂亮的kludgey.

Answer 2

HLG*_*GEM 5

我们的解决方案。我们使用父子包。在父文件中，我们将各个客户端文件转换为我们的标准格式文件，然后调用子程序包以使用我们创建的文件处理标准导入。仅当客户发送的内容一致时，这才有效；如果客户尝试从同意发送给我们的格式更改其格式，我们将返回文件。

归档时间：	14 年，3 月前
查看次数：	4935 次
最近记录：	14 年，3 月前