MongoDB明显太大了16mb的上限

Question

我有一个Mongodb系列.简单来说,它有两列:user和url.它有39274590行.该表的关键是{user,url}.

使用Java,我尝试列出不同的URL:

  MongoDBManager db = new MongoDBManager( "Website", "UserLog" );
  return db.getDistinct("url"); 

但我收到一个例外:

Exception in thread "main" com.mongodb.CommandResult$CommandFailure: command failed [distinct]: 
{ "serverUsed" : "localhost/127.0.0.1:27017" , "errmsg" : "exception: distinct too big, 16mb cap" , "code" : 10044 , "ok" : 0.0}

我怎么解决这个问题？有没有可以避免这个问题的B计划？

谢谢.

Answer 1

在2.6版中,您可以使用aggregate命令生成单独的集合:http: //docs.mongodb.org/manual/reference/operator/aggregation/out/

对于大多数查询,这将使mongodb的限制达到16mb.您可以在此处阅读有关在mongodb 2.6中对大型数据集使用聚合框架的更多信息:http: //vladmihalcea.com/mongodb-2-6-is-out/

要使用聚合框架执行"不同"查询,请按字段分组.

db.userlog.aggregate([{$group: {_id: '$url'} }]); 

注意:我不知道这对Java驱动程序有何用处,祝你好运.