分析大量数据的有效方法？

Question

我需要分析成千上万行数据.数据从文本文件导入.每行数据都有八个变量.目前,我使用一个类来定义数据结构.当我阅读文本文件时,我将每个行对象存储在通用列表List中.

我想知道是否应该切换到使用关系数据库(SQL),因为我需要分析每行文本中的数据,尝试将其与我当前存储在通用列表(List)中的定义术语相关联.

目标是使用定义翻译大量数据.我希望定义的数据是可过滤的,可搜索的等等.使用数据库更有意义,我想的更多,但我想在更改之前与更有经验的开发人员确认,然后再次(我使用结构和首先是arraylists).

我能想到的唯一缺点是,在用户翻译和查看数据后,不需要保留数据.不需要永久存储数据,因此使用数据库可能有点过分.

Answer 1

并不是绝对有必要去数据库。这取决于数据的实际大小和您需要执行的过程。如果您使用自定义类将数据加载到列表中，为什么不使用 Linq 来执行查询和过滤呢？就像是：

var query = from foo in List<Foo>
            where foo.Prop = criteriaVar
            select foo;

真正的问题是数据是否太大以至于无法轻松加载到内存中。如果是这样的话，那么是的，数据库会简单得多。