如何用Lucene获取经常出现的短语

Question

我想在Lucene中找到一些经常出现的短语.我从TXT文件中获取一些信息,并且因为没有短语信息而丢失了很多上下文,例如"信息检索"被索引为两个单独的单词.

获取这样的短语的方法是什么？我在互联网上找不到任何有用的东西,所有的建议,链接,提示特别是例子表示赞赏!

编辑:我只是按标题和内容存储我的文件:

 Document doc = new Document();
 doc.add(new Field("name", f.getName(), Field.Store.YES, Field.Index.NOT_ANALYZED));
 doc.add(new Field("text", fReader, Field.TermVector.WITH_POSITIONS_OFFSETS));

因为我正在做的事情,最重要的是文件的内容.标题往往不具有描述性(例如,我有许多PDF学术论文,其标题是代码或数字).

我迫切需要从文本内容中索引最常出现的短语,刚才我看到这个简单的"词袋"方法效率不高.

Answer 1

Julia,看起来你正在寻找的是n-gram,特别是Bigrams(也称为搭配).

这是一篇关于从Manning和Schutze的统计自然语言处理基础中找到搭配(PDF)的章节.

为了用Lucene做这个,我建议使用Solr和ShingleFilterFactory.有关详细信息,请参阅此讨论.