3层模式和大量数据

Question

这是我的情况:我试图尽可能地遵循3层模式(即演示,业务和数据层).当我需要来自数据库的数据时,业务层调用返回信息的数据层.数据层永远不会返回SqlDataReader或DataTable对象,但通常是数据访问层已知的自定义对象的枚举.当数据层必须返回包含少量对象的列表时,它工作得很好.

我现在面临这个问题,我的应用程序(业务层)必须处理500000条记录.我可以简单地向我的数据层添加另一个方法并返回一个IEnumerable,但这听起来非常糟糕.我不想在内存中加载50万条记录.

我的问题是,考虑到3层模型,我该如何处理这个案例？如果我没有3层模式,我只需在业务类中使用SqlDataReader.有什么建议？

更新:数据将不会显示,因此这不是分页问题(这里根本不涉及表示层).我只需分析每条记录,然后保留其中一些记录.

谢谢

Answer 1

我假设你不会一次向前端显示 500,000 条记录？您可能正在做一些分页，对吧？因此，一次仅从数据库返回一页数据。