PHP XML 内存泄漏？

Question

我们在定期运行的脚本之一中出现了严重的内存泄漏，该脚本迅速清除了服务器上的可用内存。尽管进行了数小时的研究和实验，但我什至无法对它产生影响。

这是代码：

    echo '1:'.memory_get_usage()."\n";
ini_set('memory_limit', '1G');
    echo '2:'.memory_get_usage()."\n";

$oXML = new DOMDocument();
    echo '3:'.memory_get_usage()."\n";
$oXML->load('feed.xml'); # 556 MB file
    echo '4:'.memory_get_usage()."\n";

$xpath = new DOMXPath($oXML);
    echo '5:'.memory_get_usage()."\n";
$oNodes = $xpath->query('//feed/item'); # 270,401 items
    echo '6:'.memory_get_usage()."\n";

unset($xpath);
    echo '7:'.memory_get_usage()."\n";
unset($oNodes);
    echo '8:'.memory_get_usage()."\n";
unset($oXML);
    echo '9:'.memory_get_usage()."\n";

这是输出：

1:679016
2:679320
3:680128
4:680568
5:681304
6:150852408
7:150851840
8:34169968
9:34169448

如您所见，当我们使用 xpath 将节点加载到对象中时，内存使用量从 681,304 跃升至 150,852,408。我对此并不十分担心。

我的问题是，即使在销毁 $oNodes 对象之后，我们仍然停留在 34,169,968 的内存使用量上。

但真正的问题是 PHP 显示的内存使用量只是脚本消耗的总内存的一小部分。free -m直接从服务器上的命令行使用，我们从使用的 3,295 MB 内存增加到 5,226 MB ——并且永远不会减少。每次运行此脚本时，我们都会丢失 2 GB 的内存，而我完全不知道为什么或如何修复它。

我尝试改用 SimpleXML，但结果基本相同。我也研究了这三个线程，但没有找到任何有帮助的内容：

XML xpath 搜索和数组循环使用 php，内存问题

DOMDocument / Xpath 在长命令行过程中泄漏内存 - 任何解构此类的方法

DOMDocument PHP 内存泄漏

我希望这很容易，我只是忽略了。

更新11/10：它不会出现内存最终被释放。我注意到在 30 多分钟后，突然间又出现了一个大块。但是，显然，最近的速度还不够快，无法防止服务器内存不足和锁定。

就其价值而言，我们在 Red Hat 5.11 上运行 PHP 5.3.15 和 Apache 2.2.3。我们正在努力更新到所有这些的最新版本，因此在升级路径的某个地方，我们可能会发现此问题已修复。不过，在那之前做它会很棒。

Answer 1

最近遇到了和你一样的问题。我们需要从 3gb xml 文件中提取数据，并且还注意到服务器内存已达到极限。有多种方法可以减少内存使用；

• 而不是使用会导致大量内存使用的 xpath（例如）file_get_contents。然后通过正则表达式进行搜索以找到所需的数据
• 将 xml 分成更小的部分。基本上它重新发明了 xml 文件，但是您可以处理文件的最大大小（因此内存）

你提到30分钟后一些内存被释放。读取 500mb 的 xml 需要 30 分钟，速度太慢了。我们使用的解决方案是将 3gb 的 xml 文件分成几个部分（大约 200）。我们的脚本在不到 5 分钟的时间内将所需的数据（大约 700k 条记录）写入我们的数据库。