.NET 进程的内存转储中有大量无法解释的内存

Question

我无法解释 C# 进程使用的大部分内存。总内存为 10 GB，但总可达和不可达对象总计为 2.5 GB。我想知道这些 7.5 GB 可能是什么？

我正在寻找最可能的解释或方法来找出这种记忆是什么。

这是确切的情况。进程是.NET 4.5.1。它从互联网下载页面并使用机器学习处理它们。内存几乎完全在托管堆中，如 VMMap 所示。这似乎排除了非托管内存泄漏。

这个过程已经运行了几天，内存慢慢增长。在某些时候，内存为 11 GB。我停止在这个过程中运行的一切。我多次运行垃圾收集，包括大对象堆压缩（间隔一分钟）：

GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
GC.Collect();

内存下降到 10 GB。然后我创建转储：

procdump -ma psid

正如预期的那样，转储为 10 GB。

我使用.NET 内存分析器（5.6 版）打开转储。转储显示总共 2.2 GB 可访问对象和 0.3 GB 不可访问对象。剩下的 7.5 GB 可以解释什么？

我一直在想的可能解释：

• LOH 并没有真正被完全压实
• 一些内存使用超出了分析器显示的对象

Answer 1

经过调查，问题恰好是由于 pinned buffers导致的堆碎片。我将解释如何调查以及固定缓冲区是什么。

我使用过的所有分析器都同意说大部分堆都是免费的。现在我需要看看碎片化。例如，我可以用 WinDbg 做到这一点：

!dumpheap -stat

然后我查看了“大于...的碎片块”部分。WinDbg 说对象位于空闲块之间，因此无法进行压缩。然后我查看了保存这些对象的内容，以及它们是否被固定，例如地址为 0000000bfaf93b80 的对象：

!gcroot 0000000bfaf93b80

它显示参考图：

00000004082945e0 (async pinned handle)
-> 0000000535b3a3e0 System.Threading.OverlappedData
-> 00000006f5266d38 System.Threading.IOCompletionCallback
-> 0000000b35402220 System.Net.Sockets.SocketAsyncEventArgs
-> 0000000bf578c850 System.Net.Sockets.Socket
-> 0000000bf578c900 System.Net.SocketAddress
-> 0000000bfaf93b80 System.Byte[]

00000004082e2148 (pinned handle)
-> 0000000bfaf93b80 System.Byte[]

最后两行告诉您对象已固定。

固定对象是无法移动的缓冲区，因为它们的地址与非托管代码共享。这里可以猜到是系统TCP层。当托管代码需要将缓冲区的地址发送给外部代码时，它需要“固定”缓冲区，以便地址保持有效：GC 无法移动它。

这些缓冲区虽然是内存的很小一部分，但无法进行压缩，从而导致大量内存“泄漏”，即使它不完全是泄漏，更像是一个碎片问题。这可能发生在 LOH 或分代堆上，同样如此。现在的问题是：是什么导致这些固定对象永远存在：找到导致碎片的泄漏的根本原因。

你可以在这里阅读类似的问题：

• https://ayende.com/blog/181761-C/the-curse-of-memory-fragmentation

• .NET 删除固定分配的缓冲区（答案中固定对象的良好解释）

注意：根本原因是在使用 .NET 异步套接字 API 的第三方库AerospikeClient中，该 API以固定发送给它的缓冲区而闻名。虽然 AerospikeClient 正确使用了缓冲池，但在重新创建其客户端时会重新创建缓冲池。由于我们每小时重新创建他们的客户端而不是永远创建一个，因此重新创建了缓冲池，导致固定缓冲区数量不断增加，进而导致无限碎片化。尚不清楚的是，为什么在传输结束或至少在其客户端被处置时，旧缓冲区永远不会被取消固定。