相关疑难解决方法(0)

我想得到一些反馈和建议,我正在考虑使用Redis排序集实现可搜索索引的两种方法.

情况和目标

我们目前有一些我们存储在Cassandra中的键值表,我们希望它们有索引.例如,一个表将包含人员的记录,Cassandra表将id作为其主键,序列化对象作为值.该对象将具有诸如first_name,last_name,last_updated等字段.

我们想要的是能够进行搜索,例如"last_name ='Smith'AND first_name>'Joel'","last_name <'Aaronson'","last_name ='Smith'AND first_name ='Winston'"等等.搜索应该产生匹配的ID,以便我们可以从Cassandra中检索对象.我认为上述搜索可以使用单个索引完成,按字典顺序排序为last_name,first_name和last_updated.如果我们需要使用不同顺序的某些搜索(例如"first_name ='Zeus'"),我们可以使用类似的索引来允许那些(例如first_name,last_updated).

我们正在考虑使用Redis,因为我们需要能够每分钟处理大量的写入操作.我已经阅读了Redis排序集的一些常用方法,并提出了两种可能的实现:

选项1:每个索引的单个排序集

对于last_name,first_name,last_updated的索引,我们在Redis下的密钥索引下有一个有序集:people:last_name:first_name:last_updated,其中包含格式为last_name的字符串:first_name:last_updated:id.例如:

史密斯:乔尔:1372761839.444:0azbjZRHTQ6U8enBw6BJBw

(对于分隔符,我可能会使用'::'而不是':'或其他东西来更好地处理字典顺序,但是现在让我们忽略它)

这些项目都将被赋予得分0,以便排序的集合将按字典顺序按字符串本身排序.如果我想做一个像"last_name ='smith'AND first_name <'bob'"这样的查询,我需要获取列表中'smith:bob'之前的所有项目.

据我所知,这种方法有以下缺点:

1. 没有Redis功能可根据字符串值选择范围.这个名为ZRANGEBYLEX的功能由Salvatore Sanfilippo在https://github.com/antirez/redis/issues/324上提出,但未实现,因此我必须使用二进制搜索找到端点并自行获取范围(可能使用Lua,或者在Python的应用程序级别,这是我们用来访问Redis的语言).
2. 如果我们想要为索引条目包含生存时间,那么最简单的方法是使用定期计划的任务遍历整个索引并删除过期的项目.

选项2:小型排序集,按last_updated排序

这种方法是类似的,除了我们会有许多较小的有序集合,每个集合都有一个类似时间的值,例如分数的last_updated.例如,对于相同的last_name,first_name,last_updated索引,我们将为每个last_name,first_name组合设置一个有序集.例如,密钥可能是索引:people:last_name = smith:first_name = joel,它将为我们称为Joel Smith的每个人创建一个条目.每个条目的id都是id,其得分是last_updated值.例如:

值:0azbjZRHTQ6U8enBw6BJBw; 得分:1372761839.444

这方面的主要优点是(a)搜索我们知道除了last_updated之外的所有字段都非常容易,并且(b)使用ZREMRANGEBYSCORE实现生存时间非常简单.

对我来说似乎非常大的缺点是:

1. 管理和搜索这种方式似乎更加复杂.例如,我们需要索引来跟踪其所有键(例如,我们希望在某些时候清理)​​并以分层方式执行此操作.诸如"last_name <'smith'"之类的搜索需要首先查看所有姓氏的列表以查找史密斯之前的那些,然后查找每个查找它包含的所有名字的人,然后查找每个姓氏.从排序集中获取所有项目.换句话说,很多组件需要建立和担心.

包起来

所以在我看来,尽管有其缺点,但第一种选择会更好.我非常感谢有关这两个或其他可能的解决方案的任何反馈(即使他们是我们应该使用除Redis之外的其他东西).