存储/检索数据结构

Question

我在Python中实现了一个后缀树来进行全文搜索,并且它的工作非常好.但是有一个问题:索引文本可能非常大,因此我们无法将整个结构放在RAM中.

图像:单词的后缀树BANANAS(在我的场景中,想象一棵大100000倍的树).

所以,研究一下它我找到了一个pickle模块,一个很好的Python模块,用于从文件中"加载"和"转储"对象,然后猜猜是什么？它与我的数据结构完美配合.

因此,长话短说:在磁盘上存储和检索此结构的最佳策略是什么？我的意思是,一个解决方案可能是将每个节点存储在一个文件中,并在需要时从磁盘加载它,但这不是最好的想法(太多的磁盘访问).

---

脚注:虽然我已将此问题标记为python,但编程语言并不是问题的重要部分,磁盘存储/检索策略确实是重点.

Answer 1

如果pickle它已经适合您，您可能想看看ZODB，它在pickle. 查看文档，我看到这一段旨在解决您所遇到的尺寸问题：

数据库在内存和存储之间自由移动对象。如果一个对象有一段时间没有被使用，它可能会被释放，并在下次使用它时从存储中加载它的内容。