ANTLR:有一个简单的例子吗？

Question

我想开始使用ANTLR,但是在antlr.org网站上花了几个小时回顾一下这些例子之后,我仍然无法清楚地理解Java进程的语法.

是否有一些简单的例子,比如使用ANTLR实现的四操作计算器,通过解析器定义并一直到Java源代码？

Answer 1

你首先创建一个语法.下面是一个小语法,您可以使用它来评估使用4个基本数学运算符构建的表达式:+, - ,*和/.您还可以使用括号对表达式进行分组.

请注意,这个语法只是一个非常基本的语法:它不处理一元运算符(减去-1:9)或小数字如.99(没有前导数字),仅列举两个缺点.这只是您可以自己解决的一个例子.

这是语法文件Exp.g的内容:

grammar Exp;

/* This will be the entry point of our parser. */
eval
    :    additionExp
    ;

/* Addition and subtraction have the lowest precedence. */
additionExp
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

/* Multiplication and division have a higher precedence. */
multiplyExp
    :    atomExp
         ( '*' atomExp 
         | '/' atomExp
         )* 
    ;

/* An expression atom is the smallest part of an expression: a number. Or 
   when we encounter parenthesis, we're making a recursive call back to the
   rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
    :    Number
    |    '(' additionExp ')'
    ;

/* A number: can be an integer value, or a decimal value */
Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

/* We're going to ignore all white space characters */
WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

(解析器规则以小写字母开头,词法分析器规则以大写字母开头)

创建语法后,您将需要从中生成解析器和词法分析器.下载ANTLR jar并将其存储在与语法文件相同的目录中.

在shell /命令提示符下执行以下命令:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它不应该产生任何错误消息,现在应该生成文件ExpLexer.java,ExpParser.java和Exp.tokens.

要查看它是否都能正常工作,请创建此测试类:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        parser.eval();
    }
}

并编译它:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java

// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo

// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利,控制台上不会打印任何内容.这意味着解析器没有发现任何错误.当您更改"12*(5-6)"到"12*(5-6",然后重新编译并运行它,应该有打印以下内容:

line 0:-1 mismatched input '<EOF>' expecting ')'

好的,现在我们想在语法中添加一些Java代码,以便解析器实际上做了一些有用的事情.添加代码可以通过在语法中放置{和}使用一些普通的Java代码来完成.

但首先:语法文件中的所有解析器规则都应返回原始double值.您可以通过returns [double value]在每个规则后添加来执行此操作:

grammar Exp;

eval returns [double value]
    :    additionExp
    ;

additionExp returns [double value]
    :    multiplyExp 
         ( '+' multiplyExp 
         | '-' multiplyExp
         )* 
    ;

// ...

这几乎不需要解释:每条规则都应该返回一个双倍值.现在要从double value代码块内部与返回值(不在普通Java代码块中{...})进行"交互" ,您需要在前面添加一个美元符号value:

grammar Exp;

/* This will be the entry point of our parser. */
eval returns [double value]                                                  
    :    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
    ;

// ...

这是语法,但现在添加了Java代码:

grammar Exp;

eval returns [double value]
    :    exp=additionExp {$value = $exp.value;}
    ;

additionExp returns [double value]
    :    m1=multiplyExp       {$value =  $m1.value;} 
         ( '+' m2=multiplyExp {$value += $m2.value;} 
         | '-' m2=multiplyExp {$value -= $m2.value;}
         )* 
    ;

multiplyExp returns [double value]
    :    a1=atomExp       {$value =  $a1.value;}
         ( '*' a2=atomExp {$value *= $a2.value;} 
         | '/' a2=atomExp {$value /= $a2.value;}
         )* 
    ;

atomExp returns [double value]
    :    n=Number                {$value = Double.parseDouble($n.text);}
    |    '(' exp=additionExp ')' {$value = $exp.value;}
    ;

Number
    :    ('0'..'9')+ ('.' ('0'..'9')+)?
    ;

WS  
    :   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
    ;

既然我们的eval规则现在返回一个double,请将您的ANTLRDemo.java更改为:

import org.antlr.runtime.*;

public class ANTLRDemo {
    public static void main(String[] args) throws Exception {
        ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
        ExpLexer lexer = new ExpLexer(in);
        CommonTokenStream tokens = new CommonTokenStream(lexer);
        ExpParser parser = new ExpParser(tokens);
        System.out.println(parser.eval()); // print the value
    }
}

再次(重新)从语法(1)生成一个新的词法分析器和解析器,编译所有类(2)并运行ANTLRDemo(3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3

// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

现在,您将看到12*(5-6)打印到控制台的表达式的结果!

再次:这是一个非常简短的解释.我鼓励你浏览ANTLR wiki,阅读一些教程和/或玩一下我刚刚发布的内容.

祝好运!

编辑:

这篇文章展示了如何扩展上面的例子,以便Map<String, Double>可以提供一个保存所提供表达式中的变量的方法.

此Q&A演示了如何使用ANTLR4创建简单的表达式解析器和评估器.

要使此代码与当前版本的Antlr(2014年6月)一起使用,我需要进行一些更改.ANTLRStringStream需要变成ANTLRInputStream,返回值需要更改parser.eval()为parser.eval().value,并且我需要WS在最后删除子句,因为$channel不再允许在词法分析器操作中显示属性值.

Answer 2

对我来说,本教程非常有用:https://tomassetti.me/antlr-mega-tutorial

它有语法示例,不同语言的访问者示例(Java,JavaScript,C#和Python)以及许多其他内容.强烈推荐.

Answer 3

对于Antlr 4,java代码生成过程如下: -

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

相应地更新类路径中的jar名称.