SOLR和自然语言解析 - 我可以使用它吗？

Question

要求

用于自然语言处理的词频算法

使用Solr

虽然这个问题的答案非常好,但我想知道我是否可以利用所有时间来了解SOLR以获得我的NLP.

我想到了SOLR,因为:

1. 它有一堆标记符并执行大量NLP.
2. 开箱即用非常有用.
3. 这是一个安静的分布式应用程序,所以它很容易挂钩
4. 我花了一些时间,所以使用可以节省我的时间.

我可以使用Solr吗？

虽然上述原因很好,但我不太了解SOLR,所以我需要知道它是否适合我的要求.

理想的用法

理想情况下,我想配置SOLR,然后能够发送SOLR一些文本,并检索索引的tonkenized内容.

上下文

我正在研究一个更大的推荐引擎的一个小组件.

Answer 1

我想你可以使用Solr并将其与其他工具结合使用.标量化,停止单词删除,词干化,甚至同义词都是Solr开箱即用的.如果您需要命名实体识别或基本名词短语提取,则需要使用OpenNLP或等效工具作为预处理阶段.您可能需要术语向量用于检索目的.将Apache Mahout与Apache Lucene和Solr集成可能很有用,因为它讨论了Lucene和Solr与机器学习(包括推荐)引擎的集成.除此之外,请随时提出更具体的问题.

Answer 2

实际上,您可以将索尔配置为在索引文档和搜索时使用NLP算法.第一阶段(索引时间)可以使用/编写Solr UpdateRequestProcessor插件来分析字段文本,而第二阶段可以实现编写自定义QParserPlugin来分析用户查询的查询.我在Lucene Eurocon 2011上提出了一种在Solr中实现自然语言搜索的方法,该方法利用Apache UIMA来运行(开源)NLP算法.您可以查看幻灯片和演讲视频.希望这可以帮助.托马索