SQL分别存储文档中每个单词的最有效方法

Rom*_*man 7 sql database sql-server search document

这是我的情况(或者见底部的TLDR):我正在尝试建立一个系统,通过几个文档搜索用户输入的单词并返回包含这些单词的文档.用户将搜索数千个文档,每个文档长度为10-100个页面,并存储在Web服务器上.

我现在的解决方案是将每个唯一的单词存储在一个带有ID的表中(英语中只有120 000个相关单词),然后在一个单独的表中存储单词id,它所在的文档,以及它出现在该文档中的次数.

例如:文件foo的文字是

abc abc def

和文档栏的文本是

abc def ghi

文件表将有

id | 名称

1 'foo'
2 'bar'
Run Code Online (Sandbox Code Playgroud)

单词表:

id |

1 'abc'
2 'def'
3 'ghi'
Run Code Online (Sandbox Code Playgroud)

Word文档表:

字ID | doc id | 事件

1        1        2
1        2        1
2        1        1
2        2        1
3        2        1
Run Code Online (Sandbox Code Playgroud)

正如您所看到的,当您拥有数千个文档并且每个文档都有数千个独特单词时,Word文档表会非常快速地爆炸并且需要很长时间才能进行搜索.

TL; DR我的问题是:

如何在SQL数据库中存储来自大型文档的可搜索数据,同时保留使用我自己的搜索算法的能力(我知道SQL有一个内置于.docs和pdf的内容)基于自定义因素(如出现,以及对于将每个单词链接到文档及其在该文档中的属性的所有条目,没有一个完全庞大的表格?

很抱歉长时间阅读并感谢您的帮助!

小智 5

您是否考虑过使用lucene搜索API的C#.net实现,而不是使用SQL Server构建自己的搜索引擎?看看https://github.com/apache/lucene.net