搜索引擎集成在.NET堆栈中

Question

我正在寻找一个非常强大的软件搜索引擎来集成到.Net网站.

目前提出的解决方案是Lucene.NET基于Lucene的堆栈.但是,我想在评估之前评估其他搜索引擎.

我们需要的功能集如下:

• 能够通过HTTP抓取任意页面
• 能够解析站点地图
• 能够通过数据库查找获取要解析的URI列表
• 能够将搜索限制为特定语言/区域设置
• 能够将搜索限制为页面的子集(例如,通过URI上的正则表达式)
• 速度和可扩展性(这适用​​于拥有大量流量的公共网站)
• 必须具有.NET API支持或可以包装在.NET API中的超级基于http的API
• 语言相关的全文支持

其他可能很棒的东西,但如果不支持则不会破坏交易:

• 报告
• 混淆和偏差结果
• 基于HTTP的管理页面
• SQL Server支持

还有哪些其他软件搜索引擎适合您？有没有你会推荐或我们应该避免？

Answer 1

我建议查看Solr。它基于 Java，但满足您的要求的基于 HTTP 的 API 部分，设计为在与您的主应用程序不同的盒子/集群上运行（因此您不一定需要在同一硬件上使用 Java 和 .NET），并且它有很大的动力。我已经有一段时间没有使用它了，但我不记得它提供了自己的爬虫。如果情况仍然如此，那么使用独立的爬虫程序和上述 API 来使其工作应该很简单。