使用字符串实习来减少网络客户端的内存使用量

Question

我有一个网络客户端来处理来自服务器的数据.

数据作为一系列消息发送,这些消息本身是键/值集合,在概念上类似于HTTP头(除了没有"消息体"),这里是一个典型的单向消息(行分隔\r\n):

Response: OK
Channel: 123
Status: OK
Message: Spectrum is green
Author: Gerry Anderson
Foo123: Blargh

我的协议客户端通过NetworkStream使用a来逐个字符地读取StreamReader,while( (nc = rdr.Read()) != -1 )并使用状态机解析器和StringBuilder实例来填充Dictionary<String,String>实例.然后将这些Dictionary实例保存到内存结构中以进行进一步处理,它们通常具有大约10分钟的有用寿命.

我的客户端每小时收到数千条这样的消息,而且客户端进程持久 - 这是一个问题,因为我的客户端进程通常会从这些String实例中消耗超过2GB的内存- 我使用windbg查看所有内存的运行情况.这是一个问题,因为代码在只有3.5GB内存的Azure VM上运行.我认为我的程序最多只能消耗超过几百MB的RAM.通常我会坐在虚拟机上观察我的进程随着时间的推移消耗的内存消耗,它会稳定地增长到大约2GB,然后随着GC的收集运行突然降到大约100MB,然后它会再次增长.GC运行之间的时间可能不同,根本没有可预测性.

因为这么多的这些字符串是相同的(如键Response,Status等)以及像已知值OK和Fail我可以使用字符串实习,以减少使用量,如下所示:

// In the state-machine parser after having read a Key name:

String key = stringBuilder.ToString();
key = String.Intern( key );

// etc... after reading value
messageDictionary.Add( key, value );

问题是我看到了额外优化的空间:sb.ToString()将分配一个新的字符串实例,该实例将用于实习,其次:实习字符串在appdomain的生命周期中持续存在,不幸的是,某些键不会显示- 使用并且实际上会浪费内存,例如Foo123在我的协议示例中.

我认为一个解决方案是不使用字符串实习,而是有一个包含static readonly字符串字段的类,这些字符串是已知密钥,然后使用普通的非内部字符串 - 最终将是GC,因此不会冒充水字符串实习池用一次性字符串.然后我会将StringBuilder实例与这些已知字符串进行比较,如果是,则使用它们而不是调用,sb.ToString()从而跳过另一个字符串分配.

但是,如果我确实选择实习每个字符串,实习池将继续增长,不幸的是.NET似乎没有.Chlorinate()字符串池的方法,有没有办法从实习池中删除一次性字符串如果我继续这种String.Intern方法,或者我是否更好地使用我自己的静态只读字符串实例？