以压缩格式存储mongodb数据

Question

我正在使用mongodb来使用scrapy框架存储网页的原始HTML数据.在网络抓取的一天,25GB磁盘空间被填满.有没有办法以压缩格式存储原始数据.

Answer 1

压缩没有内置任何东西.有些操作系统提供磁盘/文件压缩,但如果你想要更多的控制,我建议你使用库来压缩它,无论你使用什么编程语言,并手动控制压缩.

例如,NodeJs为此提供了简单方便的方法:http://nodejs.org/api/zlib.html#zlib_examples

3.0更新

如果您选择切换到3.0附带的新存储引擎WiredTiger,您可以在此处记录的几种类型的压缩之间进行选择.当然,您需要在生产工作负载中测试此更改,以查找额外的CPU利用率是否值得接收压缩.

Answer 2

从2.8版本的Mongo开始,您可以使用压缩.使用WiredTiger引擎有3个级别的压缩,mmap(默认情况下2.6不提供压缩):

• 没有
• snappy(默认情况下)
• zlib的

下面是一个示例,说明您可以为16 GB数据节省多少空间:

数据取自本文章.