有没有一个简单的例子?

我想从ANTLR开始,但在花了几个小时在antlr.org网站上回顾示例后,我仍然不能清楚地理解Java过程的语法。

是否有一些简单的例子,比如用ANTLR实现的四运算计算器,从解析器定义一直到Java源代码?

172498 次浏览

请注意:这个答案是ANTLR3!如果你正在寻找一个ANTLR4的例子,那么这个Q&演示了如何使用ANTLR4创建一个简单的表达式解析器和求值器。


首先创建一个语法。下面是一个小语法,您可以使用它来计算使用4个基本数学运算符(+、-、*和/)构建的表达式。还可以使用括号对表达式进行分组。

请注意,这个语法只是一个非常基本的语法:它不处理一元运算符(-1+9中的减号)或像。99这样的小数(没有前导数字),仅举两个缺点。这只是一个你可以自己做的例子。

下面是语法文件Exp.g的内容:

grammar Exp;


/* This will be the entry point of our parser. */
eval
:    additionExp
;


/* Addition and subtraction have the lowest precedence. */
additionExp
:    multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;


/* Multiplication and division have a higher precedence. */
multiplyExp
:    atomExp
( '*' atomExp
| '/' atomExp
)*
;


/* An expression atom is the smallest part of an expression: a number. Or
when we encounter parenthesis, we're making a recursive call back to the
rule 'additionExp'. As you can see, an 'atomExp' has the highest precedence. */
atomExp
:    Number
|    '(' additionExp ')'
;


/* A number: can be an integer value, or a decimal value */
Number
:    ('0'..'9')+ ('.' ('0'..'9')+)?
;


/* We're going to ignore all white space characters */
WS
:   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;

(解析器规则以小写字母开头,lexer规则以大写字母开头)

创建语法之后,您将希望从中生成一个解析器和词法分析器。下载ANTLR jar并将其存储在与语法文件相同的目录中。

在shell/命令提示符上执行以下命令:

java -cp antlr-3.2.jar org.antlr.Tool Exp.g

它应该不会产生任何错误消息,并且现在应该生成文件ExpLexer.javaExpParser.javaExp.tokens

要查看它是否正常工作,请创建这个测试类:

import org.antlr.runtime.*;


public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
parser.eval();
}
}

然后编译:

// *nix/MacOS
javac -cp .:antlr-3.2.jar ANTLRDemo.java


// Windows
javac -cp .;antlr-3.2.jar ANTLRDemo.java

然后运行它:

// *nix/MacOS
java -cp .:antlr-3.2.jar ANTLRDemo


// Windows
java -cp .;antlr-3.2.jar ANTLRDemo

如果一切顺利,就不会将任何内容打印到控制台。这意味着解析器没有发现任何错误。当你将"12*(5-6)"更改为"12*(5-6",然后重新编译并运行它时,应该打印以下内容:

line 0:-1 mismatched input '<EOF>' expecting ')'

好了,现在我们想向语法中添加一些Java代码,以便解析器实际执行一些有用的操作。添加代码可以通过在语法中放置{}来完成,其中包含一些普通的Java代码。

但是首先:语法文件中的所有解析器规则都应该返回一个原语双精度值。你可以在每条规则之后添加returns [double value]:

grammar Exp;


eval returns [double value]
:    additionExp
;


additionExp returns [double value]
:    multiplyExp
( '+' multiplyExp
| '-' multiplyExp
)*
;


// ...

这一点不需要解释:每个规则都应该返回一个double值。现在,为了从代码块内部与返回值double value(它不在普通Java代码块{...}中)“交互”,你需要在value前面添加一个美元符号:

grammar Exp;


/* This will be the entry point of our parser. */
eval returns [double value]
:    additionExp { /* plain code block! */ System.out.println("value equals: "+$value); }
;


// ...

下面是语法,但现在添加了Java代码:

grammar Exp;


eval returns [double value]
:    exp=additionExp {$value = $exp.value;}
;


additionExp returns [double value]
:    m1=multiplyExp       {$value =  $m1.value;}
( '+' m2=multiplyExp {$value += $m2.value;}
| '-' m2=multiplyExp {$value -= $m2.value;}
)*
;


multiplyExp returns [double value]
:    a1=atomExp       {$value =  $a1.value;}
( '*' a2=atomExp {$value *= $a2.value;}
| '/' a2=atomExp {$value /= $a2.value;}
)*
;


atomExp returns [double value]
:    n=Number                {$value = Double.parseDouble($n.text);}
|    '(' exp=additionExp ')' {$value = $exp.value;}
;


Number
:    ('0'..'9')+ ('.' ('0'..'9')+)?
;


WS
:   (' ' | '\t' | '\r'| '\n') {$channel=HIDDEN;}
;

并且由于我们的eval规则现在返回double,将你的ANTLRDemo.java更改为:

import org.antlr.runtime.*;


public class ANTLRDemo {
public static void main(String[] args) throws Exception {
ANTLRStringStream in = new ANTLRStringStream("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);
System.out.println(parser.eval()); // print the value
}
}

再次(重新)从你的语法(1)生成一个新的词法分析器和解析器,编译所有类(2)并运行ANTLRDemo (3):

// *nix/MacOS
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .:antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .:antlr-3.2.jar ANTLRDemo            // 3


// Windows
java -cp antlr-3.2.jar org.antlr.Tool Exp.g   // 1
javac -cp .;antlr-3.2.jar ANTLRDemo.java      // 2
java -cp .;antlr-3.2.jar ANTLRDemo            // 3

现在你会看到表达式12*(5-6)的结果打印到你的控制台!

同样,这是一个非常简短的解释。我鼓励你浏览ANTLR维基并阅读一些教程和/或玩一点我刚刚发布的内容。

好运!

编辑:

这篇文章展示了如何扩展上面的例子,以便提供一个Map<String, Double>来保存所提供表达式中的变量。

为了让这段代码与当前版本的Antlr(2014年6月)一起工作,我需要做一些更改。ANTLRStringStream需要变成ANTLRInputStream,返回值需要从parser.eval()变成parser.eval().value,并且我需要在结尾删除WS子句,因为像$channel这样的属性值不再允许出现在lexer动作中。

对于Antlr 4, java代码生成过程如下

java -cp antlr-4.5.3-complete.jar org.antlr.v4.Tool Exp.g

相应地更新类路径中的jar名称。

https://github.com/BITPlan/com.bitplan.antlr中,你会发现一个ANTLR java库,其中有一些有用的helper类和一些完整的示例。它已经准备好与maven一起使用,如果您喜欢eclipse和maven。

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/exp/Exp.g4

是一个简单的表达式语言,可以做乘法和加法运算。 https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestExpParser.java有对应的单元测试

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/main/antlr4/com/bitplan/iri/IRIParser.g4是一个IRI解析器,它被分为三个部分:

  1. 解析器语法
  2. 词法分析程序的语法
  3. 导入LexBasic语法

https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIRIParser.java 是否进行单元测试。

我个人认为这是最棘手的部分。看到http://wiki.bitplan.com/index.php/ANTLR_maven_plugin

https://github.com/BITPlan/com.bitplan.antlr/tree/master/src/main/antlr4/com/bitplan/expr

包含针对早期版本中ANTLR4的性能问题创建的另外三个示例。与此同时,此问题已被修复,如测试用例https://github.com/BITPlan/com.bitplan.antlr/blob/master/src/test/java/com/bitplan/antlr/TestIssue994.java所示。

ANTLR超级教程由Gabriele Tomassetti是非常有用的

它有语法示例,不同语言(Java, JavaScript, c#和Python)的访问者示例和许多其他东西。强烈推荐。

编辑:Gabriele Tomassetti在ANTLR上的其他有用文章

  • < a href = " https://tomassetti。me/ Getting -start -with- ANTLR -in-csharp/" rel="noreferrer">在c#中开始使用ANTLR . me/ Getting -start -with- ANTLR -in-csharp/" rel="noreferrer">
  • <李> < a href = " https://tomassetti。me/ Getting -start - ANTLR -cpp/" rel="noreferrer">Getting Started with ANTLR in 李c++ < / > < / >

版本4.7.1略有不同: 进口:< / p >

import org.antlr.v4.runtime.*;

主要部分-注意CharStreams:

CharStream in = CharStreams.fromString("12*(5-6)");
ExpLexer lexer = new ExpLexer(in);
CommonTokenStream tokens = new CommonTokenStream(lexer);
ExpParser parser = new ExpParser(tokens);