在.net中读取大型XML文档

Question

我需要使用.net文件读取大型xml,这些文件很容易达到几GB.

我试图使用XDocument,但它只是在我尝试加载文档时抛出一个System.OutOfMemoryException.

读取大尺寸XML文件的最佳方法是什么？

Answer 1

你基本上必须在这里使用"拉"模型 - XmlReader和朋友.这将允许您流式传输文档,而不是一次性将其全部加载到内存中.

请注意,如果您知道自己处于"足够小"元素的开头,则可以使用LINQ to XML的荣耀创建一个XElementfromXmlReader,处理它,然后转到下一个元素.

Answer 2

以下页面进行了有趣的阅读,提供了一种从XML文件中挖掘数据而无需将其加载到内存中的方法.它允许您将XmlReader的速度与Linq的灵活性结合起来:

http://msdn.microsoft.com/en-us/library/bb387035.aspx

基于这种技术的相当有趣的文章:

http://blogs.msdn.com/b/xmlteam/archive/2007/03/24/streaming-with-linq-to-xml-part-2.aspx