如何从Lucene的特定字段中获取唯一术语列表？

Question

我有一个包含多个字段的大型语料库的索引.这些字段中只有一个包含文本.我需要根据这个字段从整个索引中提取唯一的单词.有谁知道我如何用java中的Lucene做到这一点？

Answer 1

如果您使用的是Lucene 4.0 api,则需要从索引阅读器中获取字段.然后,Fields提供了获取索引中每个字段的术语的方法.以下是如何执行此操作的示例:

        Fields fields = MultiFields.getFields(indexReader);
        Terms terms = fields.terms("field");
        TermsEnum iterator = terms.iterator(null);
        BytesRef byteRef = null;
        while((byteRef = iterator.next()) != null) {
            String term = new String(byteRef.bytes, byteRef.offset, byteRef.length);

        }

最后,对于新版本的Lucene,您可以从BytesRef调用中获取字符串:

       byteRef.utf8ToString();

代替

       new String(byteRef.bytes, byteRef.offset, byteRef.length);

如果要获取文档频率,可以执行以下操作:

       int docFreq = iterator.docFreq();

Answer 2

您正在寻找术语向量(字段中所有单词的集合以及每个单词的使用次数,不包括停用单词).您将为索引中的每个文档使用IndexReader的getTermFreqVector(docid,field),并HashSet使用它们填充a .

另一种方法是使用terms()并仅选择您感兴趣的字段的术语:

IndexReader reader = IndexReader.open(index);
TermEnum terms = reader.terms();
Set<String> uniqueTerms = new HashSet<String>();
while (terms.next()) {
        final Term term = terms.term();
        if (term.field().equals("field_name")) {
                uniqueTerms.add(term.text());
        }
}

这不是最佳解决方案,您正在阅读然后丢弃所有其他字段.FieldsLucene 4中有一个类,只返回单个字段的术语(字段).