在php中解析非常大的XML文件

Question

我需要解析大小为40GB的XML文件,然后进行规范化,并插入到MySQL数据库中.我需要在数据库中存储多少文件不清楚,我也不知道XML结构.

我应该使用哪种解析器,你会怎么做呢？

Answer 1

在PHP中,您可以使用XMLReader^Docs读取极大的XML文件:

$reader = new XMLReader();
$reader->open($xmlfile);

极大的XML文件应以压缩格式存储在磁盘上.至少这是有道理的,因为XML文件具有高压缩比.比如像gzip一样large.xml.gz.

PHP XMLReader通过压缩包装器^Docs支持这一点:

$xmlfile = 'compress.zlib://path/to/large.xml.gz';

$reader = new XMLReader();
$reader->open($xmlfile);

将XMLReader允许您将当前元素"唯一"上运行.这意味着它只是前瞻性的.如果你需要保持解析器状态,你需要自己构建它.

我经常发现将基本运动包装成一组迭代器是有帮助的,这些迭代器知道如何操作,XMLReader就像迭代元素或子元素一样.您可以使用PHP和XMLReader在Parse XML中找到这一点.

另见:

• PHP打开gzipped XML