解析器中的重定义标记类型

Question

需要为 表格的可能设计语言 实现COS aka MUMPS的语法突出显示

new (new,set,kill)
set kill=new

其中:'new'和'set'是命令,也是变量

grammar cos;

Command_KILL            :( ('k'|'K') | ( ('k'|'K')('i'|'I')('l'|'L')('l'|'L') ) ); 
Command_NEW             :( ('n'|'N') | ( ('n'|'N')('e'|'E')('w'|'W') ) ); 
Command_SET             :( ('s'|'S') | ( ('s'|'S')('e'|'E')('t'|'T') ) );


INT : [0-9]+;
ID : [a-zA-Z][a-zA-Z0-9]*;
Space: ' ';
Equal: '=';

newCommand
    :   Command_NEW Space ID
    ;
setCommand
    :   Command_SET Space ID Space*  Equal Space* INT
    ; 

我有一个问题,当ID像名字一样命令(NEW,SET等)

Answer 1

根据维基百科页面,MUMPS没有保留字:

保留字:无.由于MUMPS按上下文解释源代码,因此不需要保留字.您可以使用语言命令的名称作为变量.

Lexer的规则与Command_KILL保留字完全相同:它们旨在确保在"kill"遇到输入时不会生成其他令牌.所以令牌类型Command_KILL将始终生成"kill",即使它是一个标识符.如果需要,您可以保留命令词法分析器规则,但是您也必须将它们视为ID,因为您根本不知道"kill"基于令牌的内容.

在ANTLR中实现MUMPS实现意味着关注令牌使用和上下文而不是令牌类型.考虑这个语法:

grammar Example;


document    : (expr (EOL|EOF))+;
expr        : command=ID Space+ value (Space* COMMA Space* value)*  #CallExpr
            | command=ID Space+ name=ID Space* Equal Space* value   #SetExpr
            ;     

value       : ID | INT;

INT         : [0-9]+;
ID          : [a-zA-Z][a-zA-Z0-9]*;
Space       : ' ';
Equal       : '=';
EOL         : [\r\n]+;
COMMA       : ',';

解析器规则根据整行的布局expr知道ID令牌何时是命令.

• 如果输入令牌是ID ID,则输入是CallExpr:第一个ID是命令名称,第二个ID是常规标识符.
• 如果输入令牌是ID ID Equal ID,那么输入是SetExpr:第一个ID是命令("set"或者类似的东西),第二个ID是目标标识符,第三个ID是源标识符.

这是一个Java测试应用程序,后跟一个与您的问题中提到的类似的测试用例.

import java.util.List;

import org.antlr.v4.runtime.ANTLRInputStream;
import org.antlr.v4.runtime.CommonTokenStream;

public class ExampleTest {

    public static void main(String[] args) {

        ANTLRInputStream input = new ANTLRInputStream(
                "new new, set, kill\nset kill = new");

        ExampleLexer lexer = new ExampleLexer(input);

        ExampleParser parser = new ExampleParser(new CommonTokenStream(lexer));

        parser.addParseListener(new ExampleBaseListener() {
            @Override
            public void exitCallExpr(ExampleParser.CallExprContext ctx) {
                System.out.println("Call:");
                System.out.printf("\tcommand = %s%n", ctx.command.getText());
                List<ExampleParser.ValueContext> values = ctx.value();
                if (values != null) {
                    for (int i = 0, count = values.size(); i < count; ++i) {
                        ExampleParser.ValueContext value = values.get(i);
                        System.out.printf("\targ[%d]  = %s%n", i,
                                value.getText());
                    }
                }
            }

            @Override
            public void exitSetExpr(ExampleParser.SetExprContext ctx) {
                System.out.println("Set:");
                System.out.printf("\tcommand = %s%n", ctx.command.getText());
                System.out.printf("\tname    = %s%n", ctx.name.getText());
                System.out.printf("\tvalue   = %s%n", ctx.value().getText());
            }

        });

        parser.document();
    }
}

输入

new new, set, kill
set kill = new

产量

Call:
    command = new
    arg[0]  = new
    arg[1]  = set
    arg[2]  = kill
Set:
    command = set
    name    = kill
    value   = new

由调用代码决定命令在给定上下文中是否有效.由于MUMPS对命令和标识符的松散方法,解析器无法合理地处理此问题.但它并没有听起来那么糟糕:你会知道哪些命令像调用一样起作用,哪些函数像一个集合,所以你将能够测试来自ListenerANTLR产生的输入.例如,在上面的代码中,测试传递给命令的"set"是否非常容易exitSetExpr.

一些MUMPS语法可能比这更难处理,但一般方法将是相同的:让词法分析器处理命令和标识符,如IDs,并使用解析器规则来确定是否ID引用命令或基于标识符的标识符整条线的背景.