cdb - 大文件的常量键值存储(数百GB)

nig*_*tch 6 database key-value cdb key-value-store

我需要一个类似于cdb(常量数据库)的工具,它允许我在索引文件中存储大量数据集(在数百GB的范围内).CDB是理想的候选者,但它有2 GB的文件大小限制,所以它不适合.我正在寻找的功能是支持二进制密钥和值的持久键值存储.创建数据库后,它是只读的,永远不会被修改.你能推荐一些工具吗?顺便说一句,存储开销应该很小,因为我将存储数十亿条记录.

顺便说一下,我正在寻找一个数据库管理库(嵌入式),而不是一个独立的服务器.可以在C程序中使用的东西.

谢谢,RG

gst*_*uss 5

另一个选项是mcdb,它是Dan J. Bernstein的cdb的扩展。

https://github.com/gstrauss/mcdb/

mcdb支持非常大的常量数据库,并且在创建数据库和访问数据库方面都比cdb快。尽管如此,创建数百GB的数据库仍需要一些时间。从冷缓存开始,mcdb可以在几秒钟内创建一个千兆字节大小的数据库来存储缓存的数据,也可以在一分钟左右的时间内创建一个千兆字节的数据库。

https://github.com/gstrauss/mcdb/blob/master/t/PERFORMANCE

(公开:我是mcdb的作者)