有很多示例显示如何使用StandardTokenizer,如下所示:
TokenStream tokenStream = new StandardTokenizer(
Version.LUCENE_36, new StringReader(input));
但在较新的Lucene版本中,此构造函数不可用.新构造函数如下所示:
StandardTokenizer(AttributeFactory factory)
这个AttributeFactory的作用是什么？如何在较新版本的Lucene中对String进行标记？