redis记忆效率

Question

我想在Redis上的MySQL中加载4列和80行的数据,这样我就可以减少读取延迟.

但是,当我尝试加载所有数据时,它变大了5倍.

原始数据是3gb(当导出为csv格式时),但是当我在Redis上加载它们时,它需要15GB ...它对我们的系统来说太大了.

我也尝试了不同的数据类型 -

1)'table_name:row_number:column_name' - > string 2)'table_name:row_number' - > hash

但所有这些都需要太多.

我错过了什么吗？

添加)

我的数据有4个col - (用户ID(pk),计数,创建时间和日期)

Answer 1

最有效的内存方式是将值存储为json数组,然后拆分键,以便使用ziplist编码的哈希值存储它们.

1. 使用say json数组对数据进行编码,因此你有key = value对user:1234567 -> [21,'25-05-2012','14-06-2010'].
2. 将您的键分成两部分,这样第二部分就有大约100种可能性.例如,user:12345和67
3. 将此组合键存储在这样的哈希中 hset user:12345 67 <json>
4. 要检索用户标识9876523的用户详细信息,只需执行hget user:98765 23并解析json数组
5. 确保调整设置hash-max-ziplist-entries和hash-max-ziplist-value

Instagram写了一篇很棒的博客文章解释这个技术,所以我将跳过解释为什么这是内存效率.

相反,我可以告诉你这种技术的缺点.

1. 您无法访问或更新用户的单个属性; 你必须重写整个记录.
2. 即使您只关心某些字段,也必须始终获取整个json对象.
3. 最后,您必须在拆分键上编写此逻辑,这是添加的维护.

与往常一样,这是一种权衡.确定您的访问模式,看看这样的结构是否有意义.如果没有,你必须购买更多的内存.