mongoexport聚合导出到csv文件

Question

我想将聚合的结果保存到csv文件中.

使用mongo cmd线工具我可以这样做以获得我想要的结果:

db.compras.aggregate({ $group : { _id : "$data.proponente", total : { $sum : "$price" } }}

我如何将其转换为将结果保存到csv的mongoexport命令？

Answer 1

从2.6+开始,稍微简单的选项就是在聚合中添加一个$ out步骤,将结果放入集合中:

db.collection.aggregate( [ { aggregation steps... }, { $out : "results" } ] )

然后只需使用mongoexport

mongoexport -d database -c results -f field1,field2,etc --csv > results.csv

之后,您可能希望从数据库中删除临时集合,以便它不会继续使用不必要的资源,并且当您忘记了数据库中存在此集合的原因时,也可以避免以后出现混淆.

db.results.drop()

Answer 2

您可以使用以下3个步骤导出到CSV文件:

1. 将聚合结果分配给变量(引用):

   var result = db.compras.aggregate({ $group : { _id : "$data.proponente", total : { $sum : "$price" } }}
   

2. 将变量的值插入新集合:

   db.bar.insert(result.result);
   

3. 在终端(或命令行)中,将此栏集合导出为CSV文件:

   mongoexport -d yourdbname -c bar -f _id,total --csv > results.csv
   

......你做完了:)

Answer 3

如果您不想将结果存储在集合中,您还可以使用print函数直接从JavaScript写入CSV文件.将以下脚本保存到exportCompras.js之类的文件中.

var cursor = db.compras.aggregate({ $group : 
  { _id : "$data.proponente", 
    total : { $sum : "$price" }
  }
});

if (cursor && cursor.hasNext()) {

  //header
  print('proponente,total');

  while ( cursor.hasNext() ) {
    var item = cursor.next();
    print('"' + item._id + '",' + item.total);
    //printjson(cursor.next()); -- or if you prefer the JSON
  }

}

从命令行,调用

mongo server/collection exportCompras.js> comprasResults.csv --quiet

Answer 4

您无法通过运行aggregate()查询mongoexport.该mongoexport工具旨在通过查询过滤器进行更基本的数据导出,而不是完全聚合和数据处理.不过,您可以使用自己喜欢的MongoDB 语言驱动程序轻松编写一个简短的脚本.

Answer 5

执行以下操作并将其保存在 mongo 服务器上的某处：

// Export to CSV function
DBCommandCursor.prototype.toCsv = function(deliminator, textQualifier) 
{
    var count = -1;
    var headers = [];
    var data = {};

    deliminator = deliminator == null ? ',' : deliminator;
    textQualifier = textQualifier == null ? '\"' : textQualifier;

    var cursor = this;

    while (cursor.hasNext()) {

        var array = new Array(cursor.next());

        count++;

        for (var index in array[0]) {
            if (headers.indexOf(index) == -1) {
                headers.push(index);
            }
        }

        for (var i = 0; i < array.length; i++) {
            for (var index in array[i]) {
                data[count + '_' + index] = array[i][index];
            }
        }
    }

    var line = '';

    for (var index in headers) {
        line += textQualifier + headers[index] + textQualifier + deliminator;
    }

    line = line.slice(0, -1);
    print(line);

    for (var i = 0; i < count + 1; i++) {

        var line = '';
        var cell = '';
        for (var j = 0; j < headers.length; j++) {
            cell = data[i + '_' + headers[j]];
            if (cell == undefined) cell = '';
            line += textQualifier + cell + textQualifier + deliminator;
        }

        line = line.slice(0, -1);
        print(line);
    }
}

然后你可以通过 shell 或像 Robomongo 这样的 GUI 运行以下命令：

load('C:\\path\\to\\your\\saved\\js\\file')
db.compras.aggregate({ $group : { _id : "$data.proponente", total : { $sum : "$price" } }}.toCsv();