需要了解使用RAMDirectory的优缺点

Question

我需要提高Lucene搜索查询的性能.我可以使用RAMDirectory吗？它是否可以优化性能？是否有任何索引大小限制？如果有人能列出使用RAMDirectory的优点和缺点,我将不胜感激.

谢谢.

Answer 1

我比较FSDirectory和RAMDirectory.

• 索引大小为1.4G
• Centos,5G内存

搜索1000个关键字,平均/最小/最大响应时间(毫秒)就在这里

• FSDirectory
  • 首次运行:351/7/2611
  • 第二轮:47/7/837
  • 第三次运行(重启app):53/7/2343
• RAMDirectory
  • 第一次运行:38/7/1133
  • 第二轮:34/7/189
  • 第三次运行(重启应用程序):38/7/959

所以,你可以看到RAMDirectory比FSDirectory更快,但在'os file cache warm up'之后,速度差距并不那么明显.RMADirectory的缺点是什么？在我的测试中

• 它占用更多内存,1.4G文件需要大约2G才能将其加载到内存中.而FSDirectory仅使用700米.那么这意味着完整的gc需要更长的时间.
• 它需要更多的时间来加载,尤其是当索引文件很大时.打开索引时需要将数据从文件复制到内存.这意味着重启应用程序时会阻止请求更长时间.
• 在同一时间维护两个索引并不是那么实际.因为我们的app会每隔几个小时切换一次索 我们希望新索引正在升温,而旧索引仍然在同一个tomcat中工作.

Answer 2

RAMDirectory更快,但不会写入磁盘.它只在您的程序运行时才存在,并且必须在每次程序运行时从头开始创建.

如果您的索引足够小以适应RAM,并且您不经常更新它,则可以在磁盘上维护索引,然后使用RAMDirectory(Directory dir)构造函数从中创建RAMDirectory .一旦你支付了加载它的代价,那么查询它应该比查询磁盘上的那个更快.但是要测量差异 - 如果索引可以作为RAMDirectory放入内存中,那么它也可以适合磁盘缓存,因此您可能看不到太多差异.

Answer 3

您应该分析RAMDirectory的使用。至少在Linux中，由于OS缓冲I / O的方式，使用RAMDirectory不会比使用默认的FSDirectory快。