如何快速切片和切块大数据文件？

Question

我想以一种相当快速有效的方式切割和切割大型数据文件,直到演出.如果我使用UNIX的"CUT"之类的东西,它甚至在CYGWIN环境中都非常快.

我已经尝试开发和基准测试各种Ruby脚本来处理这些文件,并且总是最终得到冰川结果.

你会在Ruby中做些什么来使这不是那么慢的狗？

Answer 1

为什么不将它们组合在一起 - 使用 cut 来做它最擅长的事情，并使用 ruby​​ 为 CUT 的结果提供粘合/增值？您可以通过将 shell 脚本放在反引号中来运行它们，如下所示：

puts `cut somefile > foo.fil`
# process each line of the output from cut
f = File.new("foo.fil")
f.each{|line|
}