从Perl中的XML文件中提取一些元素值的最快方法是什么？

Question

我有一堆大小约1-2兆字节的XML文件.实际上,不止一堆,有数百万.它们都是格式良好的,甚至许多都是针对它们的模式进行验证的(用libxml2确认).

所有这些都是由同一个应用程序创建的,因此它们的格式一致(尽管理论上这在将来会发生变化).

我想从Perl脚本中检查每个文件中一个元素的值.速度很重要(我希望每个文件只需不到一秒钟),如上所述,我已经知道文件格式正确.

我非常想要简单地"打开"Perl中的文件并扫描直到我看到我要查找的元素,获取值(靠近文件的开头),然后关闭文件.

另一方面,我可以使用XML解析器(这可能会保护我免受XML格式的未来更改)但我怀疑它会比我想要的慢.

任何人都可以推荐合适的方法和/或解析器吗？

提前致谢.

更新

这是我试图提取的数据的结构/复杂性:

<doc>
  ...
  <someparentnode attrib="notme" attrib2="5">
    <node>Not this one</node>
  </someparentnode>
  <someparentnode attrib="pickme" attrib2="5">
    <node>This is the data I want</node>
  </someparentnode>
  <someparentnode attrib="notme" 
     attrib2="reallyreallylonglineslikethisonearewrapped">
    <node>Not this one either and it may be 
      wrapped too.</node>
  </someparentnode>
  ...    
</doc>

层次结构比这更深层次,但我认为这涵盖了我想要做的各种事情.

Answer 1

2单机支持XML的选项(我写的,所以我可能有偏差; - )是xml_grep(包含XML ::嫩枝)和xml_grep2(在应用:: xml_grep2).

你会写xml_grep -t '*[@attrib="pickme"]' *.xml或xml_grep2 -t '//*[@attrib="pickme"]' *.xml(该-t选项以文本而不是XML的形式提供结果).同样在这两种情况下,所有文档都将被解析,但下一个版本xml_grep将添加一个选项来限制每个文件的结果数,并在达到此数字时立即停止解析每个文件.

否则,如果你需要速度并且如果代码需要集成,你可以使用XML :: Twig,在你想要的元素上触发处理程序,并finish_now在你找到它时调用,这将中止解析并继续下一个文件.

XML :: LibXML也是一个选项,虽然你必须完全解析每个文档并使用XPath(容易但可能更慢),使用SAX(可能更快但代码很痛苦)或使用pull-parser(可能最好的选择,但我从来没有用过它).

更新后更新:XML :: Twig的代码如下所示:

#!/usr/bin/perl
use strict;
use warnings;

use XML::Twig;

my $twig= XML::Twig->new( twig_handlers => { '*[@attrib="pickme"]' => \&pickme });

foreach my $file (@ARGV)
  { $twig->parsefile( $file); }

sub pickme
  { my( $twig, $node)= @_;
    print $node->text, "\n";
    $twig->finish_now;
  }