溢出排序阶段缓冲数据使用超出内部限制

Question

使用代码:

all_reviews = db_handle.find().sort('reviewDate', pymongo.ASCENDING)
print all_reviews.count()

print all_reviews[0]
print all_reviews[2000000]

计数打印2043484,然后打印all_reviews[0].

但是在打印时all_reviews[2000000],我收到错误:

pymongo.errors.OperationFailure:数据库错误:运行程序错误:溢出排序阶段缓冲数据使用量33554495字节超过内部限制33554432字节

我该如何处理？

Answer 1

您在内存中排序时遇到32MB限制:

https://docs.mongodb.com/manual/reference/limits/#Sort-Operations

向排序字段添加索引.这允许MongoDB按排序顺序将文档流式传输给您,而不是尝试将它们全部加载到服务器上的内存中,并在将它们发送到客户端之前将它们排序到内存中.

Answer 2

正如kumar_harsh评论部分所述,我想补充一点.

您可以使用以下命令在admin数据库中查看当前缓冲区使用情况:

> use admin
switched to db admin
> db.runCommand( { getParameter : 1, "internalQueryExecMaxBlockingSortBytes" : 1 } )
{ "internalQueryExecMaxBlockingSortBytes" : 33554432, "ok" : 1 }

它的默认值为32 MB(33554432字节).在这种情况下,您运行的缓冲区数据不足,因此您可以使用自己定义的最佳值增加缓冲区限制,例如50 MB,如下所示:

>  db.adminCommand({setParameter: 1, internalQueryExecMaxBlockingSortBytes:50151432})
{ "was" : 33554432, "ok" : 1 }

我们还可以通过mongodb配置文件中的以下参数永久设置此限制:

setParameter=internalQueryExecMaxBlockingSortBytes=309715200

希望这可以帮助 !!!

Note:此命令仅在3.0 +版之后支持

Answer 3

用索引解决了

db_handle.ensure_index([("reviewDate", pymongo.ASCENDING)])

Answer 4

如果您想避免创建索引(例如,您只想快速检查数据),可以使用磁盘使用聚合:

all_reviews = db_handle.aggregate([{$sort: {'reviewDate': 1}}], {allowDiskUse: true})

(不知道如何在pymongo中这样做).