可以使用Dapper流式传输大型SQL Server数据库结果集吗?

Pur*_*ome 10 c# sql-server stream dapper

我需要从我的数据库返回大约500K行(请不要问为什么:/).

然后我需要将这些结果保存为XML(更多URGH :()和ftp这个文件到某个神奇的地方.

我还需要转换结果集中的每一行.

现在,这就是我正在做的事情.. TOP 100结果:

  • 使用Dapper的Query<T>方法,将整个结果集抛出到内存中
  • 然后我使用AutoMapper将数据库POCO转换为我的FileResult POCO
  • 转换为XML
  • 然后将此集合保存到文件系统
  • 然后FTP

这适用于100行,但在尝试将500K结果转换为新集合时,我使用AutoMapper获得Out Of Memory异常.

所以,我想知道我是否能做到这一点......

  • 使用Dapper从数据库传输数据
  • 对于每一行,自动化它
  • 转换为XML
  • 将结果传输到磁盘
  • <每行重复>
  • 现在ftp该文件到魔法土地

我试图停止把所有东西扔进RAM.我的想法是,如果我可以流式传输,那么它的内存效率更高,因为我只处理单个数据结果集.

有人可以帮忙吗?

Mar*_*ell 8

使用Dapper的Query<T>方法,将整个结果集抛出到内存中

那么,一个可选参数是一个很好的工作,bool它允许您选择是否缓冲; p

只需添加, buffer: false到您现有的通话中即可Query<T>.

  • @steve 在下一个“主要”中,我们将粉碎 API,以便有一个 List-T 版本(缓冲)和一个 IAsyncEnumerable-T 版本(非缓冲)。现在,您可能需要使用采用命令包装器而不仅仅是字符串的版本。 (5认同)