ANTLR4:在令牌规则中使用非ASCII字符

Question

在ANTRL4书的第74页上,它表示只需通过以下方式指定其代码点,就可以在语法中使用任何Unicode字符:

'\uxxxx'

其中xxxx是Unicode代码点的十六进制值.

所以我在ID令牌的令牌规则中使用了这种技术:

grammar ID;

id : ID EOF ;

ID : ('a' .. 'z' | 'A' .. 'Z' | '\u0100' .. '\u017E')+ ;
WS : [ \t\r\n]+ -> skip ;

当我试图解析这个输入时:

G?nter

ANTLR抛出一个错误,说它无法识别?.(ŭ字符是十六进制016D,因此它在指定的范围内)

我做错了什么？

Answer 1

ANTLR已准备好接受16位字符,但默认情况下,许多语言环境将以字节(8位)读取字符.使用Java库从文件读取时,需要指定适当的编码.如果您正在使用TestRig,或许通过别名/脚本grun,那么使用参数-encoding utf-8或其他.如果查看该类的源代码,您将看到以下机制:

InputStream is = new FileInputStream(inputFile);
Reader r = new InputStreamReader(is, encoding); // e.g., euc-jp or utf-8
ANTLRInputStream input = new ANTLRInputStream(r);
XLexer lexer = new XLexer(input);
CommonTokenStream tokens = new CommonTokenStream(lexer);
...