设计处理许多文件格式,解析,验证和持久性的文件处理

Question

如果你必须设计一个文件处理组件/系统,它可以采用各种各样的文件格式(包括Excel等专有格式),解析/验证并将这些信息存储到数据库中......你会怎么做？

注意:95%的时间1行输入数据将等于数据库中的一条记录,但并非总是如此.

目前我正在使用一些我设计的自定义软件来解析/验证/存储客户数据到我们的数据库.系统按文件系统中的位置(从ftp drop)标识文件,然后加载XML"定义"文件.(根据输入文件的删除位置加载正确的XML).

XML指定文件布局(分隔或固定宽度)和字段特定项(长度,数据类型(数字,字母,字母数字)以及要将字段存储到的DB列).

         <delimiter><![CDATA[ ]]></delimiter>
   <numberOfItems>12</numberOfItems>
   <dataItems>
    <item>
     <name>Member ID</name>
     <type>any</type>
     <minLength>0</minLength>
     <maxLength>0</maxLength>
     <validate>false</validate>
     <customValidation/>
     <dbColumn>MembershipID</dbColumn>
    </item>

由于这种设计,输入文件必须是文本(固定宽度或分隔),并且从输入文件数据字段到DB列具有1对1的关系.

我想扩展我们的文件处理系统的功能,以采用Excel或其他文件格式.

我至少有六种方法可以继续,但我现在卡住了,因为我没有任何人可以真正反省这些想法.

再说一遍:如果你必须设计一个文件处理组件,它可以采用各种各样的文件格式(包括Excel等专有格式),解析/验证并将这些信息存储到数据库中......你会怎么做？

Answer 1

您可能想创建一个博客，那么如果您在 LinkedIn 之类的网站上，您可以将讨论指向您的博客，或者在 LinkedIn 上开始讨论，因为那里的一些讨论会持续一段时间。