如何搜索巨大的非文本数据集？

Question

在我正在工作的项目中,客户端有一个旧的大型(TB级)RDBMS.所有类型的查询都很慢,没有时间来修复/重构模式.我已经确定了需要优化的常见查询集.该集分为两部分:全文和元数据查询.

我的计划是从数据库中提取数据并将其分配到两个不同的存储系统中,每个存储系统都针对特定查询集进行了优化.

对于全文搜索,Solr是最有意义的引擎.它的分片和复制功能使其非常适合一半的问题.

对于元数据查询,我不确定要采取的路线.目前,我正在考虑使用具有极度非规范化模式的RDBMS,该模式表示来自"权威"RDBMS的数据的特定子集.但是,与已经包含它们的Solr相比,我的客户担心这种子系统缺少分片和复制以及设置这些功能的难度/复杂性.在这种情况下,元数据采用整数,日期,bool,位和字符串的形式(最大大小为10chars).

是否有一个数据库存储系统具有内置的分片和复制功能,可能对查询所述元数据特别有用？也许一个没有sql的解决方案提供了一个很好的查询引擎？

请照亮.

添加/回应:

Solr可用于元数据,但元数据是易失性的.因此,我必须经常提交索引.这会导致搜索速度非常快.

Answer 1

RavenDB:

• 它内置了Lucene,可用于全文搜索.
• 它可以复制.
• 它支持分片.
• 它有一个HTTP API,因此您原则上可以从任何平台使用它.

缺点:它是AGPL许可的.根据您的开发/服务器环境,您可以认为它在.NET上运行.此外,我不知道除.NET之外的其他平台的客户端状态.

Solandra:

• 整合Solr和Cassandra
• 由Solr管理的全文搜索
• 由Cassandra管理的复制和分片

缺点:尚未发布.

ElasticSearch:

• 它内置了Lucene,可用于全文搜索.
• 它可以复制.
• 它支持分片.
• 它有一个HTTP API,因此您原则上可以从任何平台使用它.

ElasticSearch看起来类似于RavenDB,但似乎强调全文搜索,其中RavenDB强调是一般的NoSQL数据库.

Answer 2

使用MongoDB作为元数据存储：

• 内置分片
• 内置复制
• 故障转移和高可用性
• 简单的查询引擎应该适用于大多数常见情况

然而，缺点是您无法执行连接。明智地对数据进行非规范化，这样就可以避免这种情况。