相关疑难解决方法(0)

我目前正在寻找其他搜索方法,而不是拥有一个巨大的SQL查询.我最近看到了弹性搜索并玩弄了嗖嗖(搜索引擎的Python实现).

你能说出你的选择理由吗？

我正在建立一个Django网站,我正在寻找一个搜索引擎.

一些候选人:

• Lucene/Lucene与Compass/Solr

• 狮身人面像

• Postgresql内置全文搜索

• MySQl内置全文搜索

选择标准:

• 结果相关性和排名
• 搜索和索引速度
• 易于使用,易于与Django集成
• 资源需求 - 站点将托管在VPS上,因此理想情况下搜索引擎不需要大量的RAM和CPU
• 可扩展性
• 额外的功能,如"你的意思是？",相关的搜索等

任何有上述搜索引擎经验的人,或者不在列表中的其他引擎 - 我很想听听你的意见.

编辑:至于索引需求,当用户不断将数据输入网站时,这些数据需要连续编入索引.它不一定是实时的,但理想情况下,新数据会出现在索引中,延迟时间不超过15-30分钟

我一直在寻找Rails的插件/宝石.大多数文章将Ferret(Lucene)与Ultrasphinx或者可能是Thinking Sphinx进行了比较,但没有人谈论SearchLogic.有没有人有任何关于这个比较的线索？你用了什么,它的表现如何？

我能够将Apache Nutch爬虫与Solr Index服务器集成吗？

编辑:

我们的一位开发人员提出了这些帖子的解决方案

1. 跑Nutch和Solr
2. 运行Nutch和Solr的更新

回答

是

我有一个网站,用户上传.doc和.pdf格式的文件.我正在使用Sphinx对我的SQL数据库(MySQL)进行全文搜索.使用Sphinx索引这些文件格式的最佳方法是什么？

我需要让我的用户在搜索中使用星号(*)作为通配符.

将星号转换为%并在sql查询中使用LIKE是否安全.

我知道user-regexp可能导致定期出现,需要永远计算.在这种情况下,我认为我不可能,但这样做是否还有其他安全问题？

我们几年来一直在使用MySQL全文搜索,但要求已经改变.我们想要将AND/OR/NOT参数解析为MySQL所理解的表单.我写了一个单元测试,很明显这很复杂.

我确定会有更多的人遇到这个问题,所以我想必须有某种类型的库可以为我做这件事.我试过谷歌,但不幸的是,我找不到这样的图书馆.有人知道一个好人吗？

库应该能够处理引号,括号,AND/OR/NOT运算符,在我们的例子中它应该默认为AND而不是OR(如果没有设置运算符).以下是我的一些预期结果:

• 'ict'成为'+ ict'
• 'ict it'变成'+ ict + it'
• 'ict或它'成为'ict it'
• 'NOT ict'成为'-ict'
• 'it not ict'成为'+ it -ict'
• 'web AND(ict OR it)'成为'+ web +(ict it)'
• 'ict OR(it AND web)'成为'ict(+ it + web)'
• 'ict NOT(ict AND it and web)'成为'+ ict - (+ ict + it + web)'
• 'php OR(不是web not embedded ict OR it)'成为'php(-web -embedded ict it)'
• '(web OR embedded)(ict OR it)'变成'+(网络嵌入)+(ict it)'
• 开发AND(web OR(ict and php))'变成'+ develop +(web(+ ict + php))'
• '"ict"成为'+'ict''
• '"ict或它"' 保持 '+"ict或它"'

这是我们在过去几年中使用的功能(无法正常工作):

/**
 * Parses …

可能重复:
选择独立的全文搜索服务器:Sphinx还是SOLR？

我将使用它在我的ruby on rails app上进行全文搜索.

这是最好的选择.

solr用java来做这个工作.或红宝石中的sphix？

我有这个大表,我想要全文搜索,所以我把它作为MyISAM,因为InnoDB不支持.

如果我在那张桌子上写了很多东西,我会遇到性能问题吗？我被告知MyISAM在写入期间锁定整个表.

如果我需要全文搜索和非锁定写入,我还有其他选择吗？

我读了一篇比较太阳黑子和思维狮身人面像表现的文章(http://www.vijedi.net/2010/ruby-full-text-search-performance-thinking-sphinx-vs-sunspot-solr/ ).根据文章,太阳黑子在思考sphinx背后拖了很多,因为它使用xml与java层交互.这是那里提到的结果

Runs    Thinking Sphinx       Sunspot
5000              38.49       1611.60
10000             38.54       1648.51
15000             39.06       1614.52
20000             38.86       1583.53
25000             39.78       1613.79
30000             38.83       1595.60
35000             38.34       1571.96
40000             38.06       1631.87
45000             37.57       1603.31
50000             38.23       1634.53
Total            385.80      16109.26

真的有这么大的差异吗？太阳黑子真的慢了吗？或者文章是否有偏见？你们推荐哪种全文搜索引擎？