从磁盘加载大型json文件时出现内存不足异常

Question

我有一个1.2 GB的json文件,在反序列化时应该给我一个包含15 mil对象的列表.

我正在尝试对其进行反序列化的机器是具有16核和32 GB Ram的Windows 2012服务器(64位).

该应用程序已构建为x64的目标.

尽管如此,当我尝试读取json doc并将其转换为对象列表时,我将失去内存异常.当我看到任务管理器时,我发现只使用了5GB的内存.

我试过的代码如下.

一个.

 string plays_json = File.ReadAllText("D:\\Hun\\enplays.json");

                plays = JsonConvert.DeserializeObject<List<playdata>>(plays_json);

湾

 string plays_json = "";
        using (var reader = new StreamReader("D:\\Hun\\enplays.json"))
        {
            plays_json = reader.ReadToEnd();
            plays = JsonConvert.DeserializeObject<List<playdata>>(plays_json);
        }

C.

 using (StreamReader sr = File.OpenText("D:\\Hun\\enplays.json"))
        {
            StringBuilder sb = new StringBuilder();
            sb.Append(sr.ReadToEnd());
            plays_json = sb.ToString();
            plays = JsonConvert.DeserializeObject<List<playdata>>(plays_json);
        }

所有帮助都是真诚的感谢

Answer 1

问题是你正在将整个巨大的文件读入内存,然后尝试将其全部反序列化为一个巨大的列表.您应该使用a StreamReader来逐步处理文件.您的问题中的示例(b)不会删除它,即使您在那里使用StreamReader,因为您仍在通过读取整个文件ReadToEnd().你应该做这样的事情:

using (StreamReader sr = new StreamReader("D:\\Hun\\enplays.json"))
using (JsonTextReader reader = new JsonTextReader(sr))
{
    var serializer = new JsonSerializer();

    while (reader.Read())
    {
        if (reader.TokenType == JsonToken.StartObject)
        {
            // Deserialize each object from the stream individually and process it
            var playdata = serializer.Deserialize<playdata>(reader);

            ProcessPlayData(playdata);
        }
    }
}

该ProcessPlayData方法应该处理单个playdata对象,然后理想地将结果写入文件或数据库而不是内存列表(否则您可能会再次回到相同的情况).如果必须将处理每个项目的结果存储到内存列表中,那么您可能需要考虑使用链接列表或类似结构,该结构不会尝试在一个连续块中分配内存,并且不需要重新分配和复制何时需要扩展.