C#、Sql Server 2008：将大型结果集流式传输给最终用户仅适用于某些数据库

Question

我有一个长时间运行的查询，返回一个大数据集。该查询是从 Web 服务调用的，结果会转换为 CSV 文件供最终用户使用。以前的版本需要 10 多分钟才能运行，并且只有在查询完成后才会将结果返回给最终用户。

我将查询重写为在大多数情况下在一分钟左右运行的位置，并重写了它的访问方式，以便结果在从数据库服务器进入 asp.net Web 服务时将流式传输到客户端。我使用 SQL Server 的本地实例以及远程实例对此进行了测试，没有出现任何问题。

现在，在生产部署的关键时刻，我们的生产 SQL Server 机器似乎在查询完成执行之前不会将任何结果发送回 Web 服务。此外，我发现另一台机器与工作的远程服务器（克隆）相同，也没有流式传输结果。

所有计算机上的 SQL Server 2008 版本都是相同的。生产计算机安装的 Windows Server 版本略有不同（6.0 与 6.1）。生产服务器有 4 个核心，RAM 是其他服务器的几倍。其他服务器是单核、1GB 内存。

有什么设置会导致这种情况吗？或者我可以设置任何设置来阻止 SQL Server 缓冲结果吗？

尽管我知道这根本不会真正影响整体运行时间，但它会极大地改变最终用户的看法。

太长；博士；我需要在查询运行时将查询结果流式传输给最终用户。它适用于某些数据库机器，但不适用于其他数据库机器。所有计算机都运行相同版本的 SQL Server。

我在 C# 中所做的事情的要点：

var reader = cmd.ExecuteReader();
Response.Write(getHeader());
while(reader.Read())
{
  Response.Write(getCSVForRow(reader));
  if(shouldFlush()) Response.Flush()
}

根据以下回复进行澄清

有 4 个数据库服务器，Local、Prod、QA1、QA2。它们都运行 SQL Server 2008。它们都加载了相同的数据库（或多或少，非产品上有 1 天的延迟）。

Web 服务托管在我的计算机上（尽管我也测试过远程托管）。

测试之间唯一的变化是 web.config 中的连接字符串。

QA2 正在运行（流式传输），它是 QA1（VM）的克隆。QA1 和 QA2 之间的唯一区别是 QA2 上添加的数据库与此查询根本无关。

QA1 不起作用。

所有测试都在结果中包含最大大小的数据集（目前我们限制为 5k 行）。第一次刷新发生后，浏览器会显示一个下载对话框。这是期望的结果。我们希望他们知道他们的下载正在处理，即使下载速度很低并且有时会下降到零（数据库就是这样）。

此时我的刷新代码很简单。每k行我们刷新一次，k当前设置为 20。

最令人困惑的部分是 QA1 和 QA2 的行为不同。我确实注意到我们的生产服务器设置为兼容模式 2005 (90)，其中 QA 和本地数据库都设置为 2008 (100)。我怀疑这很重要。当我通过 SSMS 执行存储过程时，我在所有机器上都有类似的行为。我立即看到结果。

是否有任何连接字符串设置可以禁用流式传输？

Answer 1

我所知道的一切都表明你所做的事情应该有效；DataReader 和 Response.Write()/.Flush() 都以“流”方式运行，一旦有行需要获取，客户端就会一次获取一行数据。响应确实包含缓冲区，但您在每次读/写迭代后将缓冲区推送到客户端，从而最大限度地减少其使用。

我会检查 Web 服务是否配置为正确响应响应中的 Flush() 命令。确保生产环境不是Win2008 Server Core安装；Windows Server 2008 在某些服务器核心角色中不支持 Response.Flush()。我还会检查 ShouldFlush() 中评估的条件是否会在您期望在生产环境中返回 true 时返回 true（您可能正在检查应用程序配置的值，或查看 IIS 设置；我不知道）。

在您的测试中，我会尝试更大的样本数据集；生产环境可能会暴露测试环境中也存在的问题，但由于测试数据集较小且高速以太网主干网，与返回数十万行相比，该问题并不明显。 DSL。您可以通过在每个 Flush(250); 之后插入 Thread.Sleep() 调用来验证它是否以流方式工作。这会减慢服务的执行速度，并让您看到响应以每秒 4 行的速度传送到客户端。

最后，确保您在生产环境中使用的客户端设置为以允许流式传输的方式显示 CSV 文件。这基本上意味着充当客户端的 Web 浏览器不应配置为将文件传递给第三方应用程序。Web 浏览器可以轻松显示通过 HTTP 传递的文本流；这就是它的作用，真的。但是，如果它将流视为 CSV 文件，并且配置为将 CSV 文件交给 Excel 打开，则浏览器将在调用第三方应用程序之前缓存整个文件。