MongoDB将文档预加载到RAM中以获得更好的性能

Question

我希望MongoDB将查询结果保存在RAM中更长的时间(如果内存可用,则说30分钟).可能吗？或者有什么方法可以确保在后续查询之前将数据预先加载到RAM中.

事实上,我想知道MongoDB的简单查询结果.我有一个10GB RAM的专用服务器,我的db.stats()如下所示;

db.stats();
{
    "db": "test",
    "collections":16,
    "objects":625690,
    "avgObjSize":68.90,
    "dataSize":43061996,
    "storageSize":1121402888,
    "numExtents":74,
    "indexes":25,
    "indexSize":28207200,
    "fileSize":469762048,
    "nsSizeMB":16,
    "ok":1
}

现在,当我从Web服务查询单个文档(如此处所述)时,它将在1.3秒内加载.后续调用相同的查询会在400毫秒内给出响应,然后在几秒钟之后,它再次开始耗时1.3秒.看起来MongoDB已经从Memory中丢失了先前查询的文档,因为没有其他查询要求将数据映射到RAM.

请解释一下,让我知道如何使后续查询更快地响应.

Answer 1

您在初始查询中观察到的性能问题可能是以下问题之一(按可能性的粗略顺序):

1)您的应用程序/ Web服务在初始化第一个请求时会有一些开销(即分配内存,设置连接池,解析DNS,......).

2)您请求的索引或数据尚未在内存中,因此需要加载.

3)查询优化器可能需要更长的时间才能在第一个请求上运行,因为它正在比较查询模式的计划执行.

通过mongoshell 测试查询是非常有帮助的,并且可以确定开销是否与MongoDB或您的Web服务相关(而不是像您一样对两者进行计时).

以下是与MongoDB相关的一些注释.

高速缓存

MongoDB没有内存中文档的"缓存"时间.它使用内存映射文件进行磁盘I/O,内存中的文档基于活动查询(最近加载的文档/索引)以及可用内存.操作系统的虚拟内存管理器负责缓存,通常遵循最近最少使用(LRU)算法来确定哪些页面交换内存不足.

内存使用情况

预期的行为是,随着时间的推移MongoDB将增长以使用所有可用内存来存储您的活动工作数据集.

查看您提供的db.stats()数字(并假设这是您唯一的数据库),看起来您的数据库大小目前约为1Gb,因此您应该能够将所有内容保存在10Gb总RAM中,除非:

• 还有其他进程争夺内存
• 您已重新启动mongod服务器,尚未请求这些文档/索引

在MongoDB 2.2中,有一个新touch命令可用于在服务器重新启动后将索引或文档加载到内存中.这应仅在初始启动时用于"预热"服务器,否则您可能无助于强制实际"活动"数据内存不足.

例如,在Linux系统上,您可以使用该top命令,并且应该看到:

• 虚拟字节/ VSIZE将倾向于整个数据库的大小
• 如果服务器没有运行其他进程,则驻留字节/ RSIZE将是计算机的总内存(这包括文件系统缓存内容)
• mongod 不应该使用swap(因为文件是内存映射的)

您可以使用该mongostat工具快速查看您的mongod活动..或者更有用的是,使用MMS等服务来监控一段时间内的指标.

查询优化器

MongoDB 查询优化器每隔〜1,000次写入操作比较查询模式的计划执行,然后缓存"获胜"查询计划,直到下次优化程序运行..或者您明确调用explain()该查询.

这应该是一个简单的测试:在mongoshell中运行您的查询.explain()并查看ms时间,以及扫描的索引条目和文档的数量.explain()的时间不是查询运行的实际时间,因为它包括比较计划的成本.典型的执行速度会快得多..您可以在mongod日志中查找慢查询.

默认情况下,MongoDB会将所有查询记录为低于100毫秒,因此这为查找要优化的查询提供了一个很好的起点.您可以使用--slowmsconfig选项或使用Database Profiler命令调整慢速ms值.

进一步阅读MongoDB文档:

• 高速缓存
• 检查服务器内存使用
• Database Profiler
• 说明
• 监控和诊断