小编Dur*_*den的帖子

我正在尝试使用knex.js将整个sqlite3数据库表导出为CSV .由于表可以达到300000行,我使用流来解决内存问题.但如果我查看我的应用程序的内存使用量高达800MB或我有一个"内存不足"错误.

如何在sqlite3数据库上使用knex.js处理大型查询结果？

下面的代码示例:

knex.select().from(table).stream(function (stream) {
    var stringifier = stringify(opts);
    var fileStream = fs.createWriteStream(file);

    var i = 0;
    stringifier.on('readable', function() {
      var row;
      while (row = stringifier.read()) {
        fileStream.write(row);
        console.log("row " + i++); //debug
      }
    });

    fileStream.once('open', function(fd) {
      stream.pipe(stringifier);
    });
});

编辑

似乎sqlite3数据库的knex.js流是"假"流.在knex中sqlite3的流函数的源代码下面:

Runner_SQLite3.prototype._stream = Promise.method(function(sql, stream, options) {
    /*jshint unused: false*/
    var runner = this;
    return new Promise(function(resolver, rejecter) {
        stream.on('error', rejecter);
        stream.on('end', resolver);
        return runner.query(sql).map(function(row) {
            stream.write(row);
        }).catch(function(err) {
            stream.emit('error', err);
        }).then(function() {
            stream.end(); …