如何从默认和隐藏通道中读取Antlr Parser规则

Question

我使用正常的空白分隔到隐藏的通道,但我有一个规则,我想包括任何空格以便以后处理,但我发现的任何例子都需要一些非常奇怪的手动编码.

没有简单的选项可以从多个渠道中读取,例如从一开始就将空白放在那里的选项.

防爆.这是WhiteSpace词法分析器规则

WS  :   ( ' '
        | '\t'
        | '\r'
        | '\n'
        ) {$channel=HIDDEN;}
    ;

这是我的规则,我想包括空格

raw :   '{'? (~('{'))*;

基本上它捕获所有规则来捕获与其他模式不匹配的其他规则的内容,因此我需要原始流.

我希望有一个{$channel==DEFAULT || $channel==HIDDEN}语法示例,但找不到任何.

我的目标是C#,但如果需要,我可以重写Java示例.

Answer 1

AFAIK，这是不可能的。但是，您可以扩展UnbufferedTokenStream以channel在解析期间更改。您不能使用 ，CommonTokenStream因为它缓冲了可变数量的令牌（并且缓冲区中的令牌可能位于错误的通道上！）。请注意，您至少需要 ANTLR 3.3：在以前的版本UnbufferedTokenStream中尚未包含在内。

假设您要解析（并显示）小写或大写字母。大写字母放在HIDDEN通道上，因此默认情况下，只会解析小写字母。但是，当解析器偶然发现小写字母 时"q"，我们想更改为HIDDEN通道。一旦在HIDDEN通道上解析，我们希望"Q"将我们带回DEFAULT_CHANNEL。

所以解析当源"aAbBcqCdDQeE"，第一"a"，"b"和"c"被印刷，则该信道被改变，则"C"和"D"获得打印，则该信道再次被改变，最后"e"被输出到控制台。

这是执行此操作的 ANTLR 语法：

频道演示.g

grammar ChannelDemo;

@parser::members {
  private void handle(String letter) {
    if("Q".equals(letter)) {
      ((ChangeableChannelTokenStream)input).setChannel(Token.DEFAULT_CHANNEL);
    }
    else if("q".equals(letter)) {
      ((ChangeableChannelTokenStream)input).setChannel(HIDDEN);
    }
    else {
      System.out.println(letter);
    }
  }
}

parse
  :  any* EOF
  ;

any
  :  letter=(LOWER | UPPER) {handle($letter.getText());}
  ;

LOWER
  :  'a'..'z'
  ;

UPPER
  :  'A'..'Z' {$channel=HIDDEN;}
  ;

这是自定义令牌流类：

ChangeableChannelTokenStream.java

import org.antlr.runtime.*;

public class ChangeableChannelTokenStream extends UnbufferedTokenStream {

    public ChangeableChannelTokenStream(TokenSource source) {
        super(source);
    }

    public Token nextElement() {
        Token t = null;
        while(true) {
            t = super.tokenSource.nextToken();
            t.setTokenIndex(tokenIndex++);
            if(t.getChannel() == super.channel) break;
        }
        return t;
    }

    public void setChannel(int ch) {
        super.channel = ch;
    }
}

还有一个小的 Main 类来测试它：

主程序

import org.antlr.runtime.*;

public class Main {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("aAbBcqCdDQeE");
        ChannelDemoLexer lexer = new ChannelDemoLexer(in);
        ChangeableChannelTokenStream tokens = new ChangeableChannelTokenStream(lexer);
        ChannelDemoParser parser = new ChannelDemoParser(tokens);
        parser.parse();
    }
}

最后，生成词法分析器/解析器（1），编译所有源文件（2）并运行 Main 类（3）：

1

java -cp antlr-3.3.jar org.antlr.Tool ChannelDemo.g

2

javac -cp antlr-3.3.jar *.java

3 (*nix)

java -cp .:antlr-3.3.jar Main

3（窗户）

java -cp .;antlr-3.3.jar Main

这将导致以下内容打印到控制台：

一种
乙
C
C
D
电子

编辑

您可以像这样在语法文件中包含该类：

grammar ChannelDemo;

@parser::members {
  private void handle(String letter) {
    if("Q".equals(letter)) {
      ((ChangeableChannelTokenStream)input).setChannel(Token.DEFAULT_CHANNEL);
    }
    else if("q".equals(letter)) {
      ((ChangeableChannelTokenStream)input).setChannel(HIDDEN);
    }
    else {
      System.out.println(letter);
    }
  }

  public static class ChangeableChannelTokenStream extends UnbufferedTokenStream {

    private boolean anyChannel;

    public ChangeableChannelTokenStream(TokenSource source) {
      super(source);
      anyChannel = false;
    }

    @Override
    public Token nextElement() {
      Token t = null;
      while(true) {
        t = super.tokenSource.nextToken();
        t.setTokenIndex(tokenIndex++);
        if(t.getChannel() == super.channel || anyChannel) break;
      }
      return t;
    }

    public void setAnyChannel(boolean enable) {
      anyChannel = enable;
    }

    public void setChannel(int ch) {
      super.channel = ch;
    }
  }
}

parse
  :  any* EOF
  ;

any
  :  letter=(LOWER | UPPER) {handle($letter.getText());}
  |  STAR                   {((ChangeableChannelTokenStream)input).setAnyChannel(true);}
  ;

STAR
  :  '*'
  ;

LOWER
  :  'a'..'z'
  ;

UPPER
  :  'A'..'Z' {$channel=HIDDEN;}
  ;

从上述语法生成的解析器将在遇到"*". 所以在解析时"aAbB*cCdDeE"：

import org.antlr.runtime.*;

public class Main {
  public static void main(String[] args) throws Exception {
    ANTLRStringStream in = new ANTLRStringStream("aAbB*cCdDeE");
    ChannelDemoLexer lexer = new ChannelDemoLexer(in);
    ChannelDemoParser.ChangeableChannelTokenStream tokens =
        new ChannelDemoParser.ChangeableChannelTokenStream(lexer);
    ChannelDemoParser parser = new ChannelDemoParser(tokens);
    parser.parse();
  }
}

打印以下内容：

一种
乙
C
C
d
D
电子
乙