有效地将大型mysql2结果写入CSV

Question

我们正在构建一个我们刚刚构建的CMS中的CSV导出机制,但是我们无法在具有数百万行的结果集上保留内存.将MySQL(通过mysql2gem)的1MM +行结果写入CSV 的最佳方法是什么？如果它有任何区别,我们使用的是Ruby 1.9.3p194和MySQL 5.5.我们的主要目标是在Ruby进程上保持内存消耗.

Answer 1

默认情况下,mysql2缓存它为其结果集创建的ruby对象.如果你关闭它,那么应该大大减少内存消耗.例如你可能会这样做

require 'mysql2'
client = Mysql2::Client.new(:host => "localhost", :username => "someuser")
client.query 'use some_db'

CSV.open('output.csv', 'w') do |csv|
  results = client.query("SELECT * FROM big_table")
  results.each(:cache_rows => false) do |row| 
    csv << [row['column_a'], row['column_b']]
  end
end