如何处理Ruby中的大文件？

Question

我是编程的新手,所以要温柔.我正在尝试从库数据库.dat文件中提取IBSN编号.我编写的代码有效,但它只搜索180MB文件的大约一半.如何调整它来搜索整个文件？或者我怎样才能编写一个程序,将dat文件拆分成可管理的块？

编辑:这是我的代码:

export = File.new("resultsfinal.txt","w+")

File.open("bibrec2.dat").each do |line|
  line.scan(/[a]{1}[1234567890xX]{10}\W/) do |x|
    export.puts x
  end
  line.scan(/[a]{1}[1234567890xX]{13}/) do |x|
    export.puts x
  end
end

Answer 1

如果您在现代操作系统上编程并且计算机有足够的内存（例如 512megs），那么 Ruby 将整个文件读入内存应该没有问题。

当您在典型的 32 位操作系统上使用大约 2 GB 的工作集时，事情通常会变得不稳定。