如何使用antlr 4 TokenStream作为可迭代流？

Question

我使用antlr 4创建了一个词法分析器来标记土耳其语自然语言文本,我需要做的是拥有一个令牌流,我可以逐个获取令牌.如果我像这样使用它,CommonTokenStream返回一个List:

ANTLRInputStream inputStream = new ANTLRInputStream(input);
TurkishLexer lexer = new TurkishLexer(inputStream);
CommonTokenStream tokenStream = new CommonTokenStream(lexer);
List<Token> tokens = tokenStream.fill();
for (Token token : token) ...

但是我不想构建一个令牌列表,因为我的输入可能很大,我只想要这样的东西:

for (Token token: tokenStream.next()) ...

在获得EOF令牌之前我会迭代哪个.

是否有令牌流允许我迭代令牌？

Answer 1

CommonTokenStream你可以简单地使用,而不是使用Lexer.nextToken.

for (Token token = lexer.nextToken();
     token.getType() != Token.EOF;
     token = lexer.nextToken())
{
    ...