如何在Ruby中有效地解析大型文本文件

Question

我正在编写一个导入脚本来处理可能有数十万行(日志文件)的文件.使用一种非常简单的方法(下面)花了足够的时间和记忆,我觉得它会在任何时候取出我的MBP,所以我杀了这个过程.

#...
File.open(file, 'r') do |f|
  f.each_line do |line|
    # do stuff here to line
  end
end

这个文件特别有642,868行:

$ wc -l nginx.log                                                                                                                                        /code/src/myimport
  642868 ../nginx.log

有没有人知道处理这个文件中每一行的更有效(内存/ CPU)方式？

UPDATE

上面的代码f.each_line简单地将正则表达式与行匹配.如果匹配失败,我将该行添加到@skipped数组中.如果它通过,我将匹配格式化为哈希(由匹配的"字段"键入)并将其附加到@results数组.

# regex built in `def initialize` (not on each line iteration)
@regex = /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - (.{0})- \[([^\]]+?)\] "(GET|POST|PUT|DELETE) ([^\s]+?) (HTTP\/1\.1)" (\d+) (\d+) "-" "(.*)"/

#... loop lines
match = line.match(@regex)
if match.nil?
  @skipped << line
else
  @results << convert_to_hash(match)
end

我对这是一个效率低下的过程完全开放.我可以convert_to_hash使用预先计算的lambda 代码,而不是每次都计算出计算结果.我想我只是假设行迭代本身就是问题,而不是每行代码.

Answer 1

我刚刚对600,000行文件进行了测试,并在不到半秒的时间内对文件进行了迭代.我猜测缓慢不在文件循环中,而是行解析.你也可以粘贴你的解析代码吗？