使用Json.net将大型数据列表作为JSON格式流式传输

Question

使用MVC模型,我想编写一个JsonResult,它将Json字符串流式传输到客户端,而不是立即将所有数据转换为Json字符串,然后将其流回客户端.我有动作需要发送非常大(超过300,000条记录)作为Json传输,我认为基本的JsonResult实现不可扩展.

我正在使用Json.net,我想知道是否有一种方法来流式传输Json字符串的块.

//Current implementation:
response.Write(Newtonsoft.Json.JsonConvert.SerializeObject(Data, formatting));
response.End();

//I know I can use the JsonSerializer instead
Newtonsoft.Json.JsonSerializer serializer = new Newtonsoft.Json.JsonSerializer();
serializer.Serialize(textWriter, Data);

但是我不知道如何将块写入textWriter并写入响应并调用reponse.Flush()直到所有300,000条记录都转换为Json.

这有可能吗？

Answer 1

假设您的最终输出是一个JSON数组,并且每个"块"是该数组中的一个项目,您可以尝试类似下面的JsonStreamingResult类.它使用a JsonTextWriter将JSON写入输出流,并使用a JObject作为在将每个项目写入writer之前单独序列化的方法.您可以传递JsonStreamingResult一个IEnumerable可以从数据源中单独读取项目的实现,这样您就不会将它们全部存储在内存中.我没有对此进行过广泛的测试,但它应该让你朝着正确的方向前进.

public class JsonStreamingResult : ActionResult
{
    private IEnumerable itemsToSerialize;

    public JsonStreamingResult(IEnumerable itemsToSerialize)
    {
        this.itemsToSerialize = itemsToSerialize;
    }

    public override void ExecuteResult(ControllerContext context)
    {
        var response = context.HttpContext.Response;
        response.ContentType = "application/json";
        response.ContentEncoding = Encoding.UTF8;

        JsonSerializer serializer = new JsonSerializer();

        using (StreamWriter sw = new StreamWriter(response.OutputStream))
        using (JsonTextWriter writer = new JsonTextWriter(sw))
        {
            writer.WriteStartArray();
            foreach (object item in itemsToSerialize)
            {
                JObject obj = JObject.FromObject(item, serializer);
                obj.WriteTo(writer);
                writer.Flush();
            }
            writer.WriteEndArray();
        }
    }
}