OCaml + Menhir编译/写作

Question

对于OCaml来说,我是一个完全新手.我最近才开始使用这种语言(大约2周前),但不幸的是,我的任务是制作语法分析器(解析器+词法分析器,其功能是接受或不接受句子)以获得一种语言使用Menhir.现在,我在互联网上找到了一些有关OCaml和Menhir的资料:

Menhir手册.

这个法国大学课程的网页.

在Sourceforge的Toss主页上的简短Menhir教程.

derdon在github上的一个Menhir例子.

关于OCaml的一本书(关于ocamllex + ocamlyacc的一些事情

SooHyoung的随机ocamllex教程哦.

以及Menhir源代码附带的示例.

(我不能放两个以上的超链接,所以我不能直接链接到我在这里提到的一些网站.抱歉!)

所以,正如你所看到的,我一直在拼命寻找越来越多的资料来帮助我制定这个计划.不幸的是,我仍然无法掌握许多概念,因此,我遇到了很多困难.

对于初学者,我不知道如何正确编译我的程序.我一直在使用以下命令:

ocamlbuild -use-menhir -menhir "menhir --external-tokens Tokens" main.native

我的程序分为四个不同的文件:main.ml; lexer.mll; parser.mly; tokens.mly.main.ml是从作为参数给出的文件系统中的文件获取输入的部分.

let filename = Sys.argv.(1)

let () =
    let inBuffer = open_in filename in
    let lineBuffer = Lexing.from_channel inBuffer in
    try
        let acceptance = Parser.main Lexer.main lineBuffer in
        match acceptance with
            | true -> print_string "Accepted!\n"
            | false -> print_string "Not accepted!\n"
    with
        | Lexer.Error msg -> Printf.fprintf stderr "%s%!\n" msg
        | Parser.Error -> Printf.fprintf stderr "At offset %d: syntax error.\n%!" (Lexing.lexeme_start lineBuffer)

第二个文件是lexer.mll.

{
  open Tokens
  exception Error of string
}

rule main = parse
  | [' ' '\t']+
      { main lexbuf }
  | ['0'-'9']+ as integer
      { INT (int_of_string integer) }
  | "True"
      { BOOL true }
  | "False"
      { BOOL false }
  | '+'
      { PLUS }
  | '-'
      { MINUS }
  | '*'
      { TIMES }
  | '/'
      { DIVIDE }
  | "def"
      { DEF }
  | "int"
      { INTTYPE }
  | ['A'-'Z' 'a'-'z' '_']['0'-'9' 'A'-'Z' 'a'-'z' '_']* as s
      { ID (s) }
  | '('
      { LPAREN }
  | ')'
      { RPAREN }
  | '>'
      { LARGER }
  | '<'
      { SMALLER }
  | ">="
      { EQLARGER }
  | "<="
      { EQSMALLER }
  | "="
      { EQUAL }
  | "!="
      { NOTEQUAL }
  | '~'
      { NOT }
  | "&&"
      { AND }
  | "||"
      { OR }
  | '('
      { LPAREN }
  | ')'
      { RPAREN }
  | "writeint"
      { WRITEINT }
  | '\n'
      { EOL }
  | eof
      { EOF }
  | _
      { raise (Error (Printf.sprintf "At offset %d: unexpected character.\n" (Lexing.lexeme_start lexbuf))) }

第三个文件是parser.mly.

%start <bool> main
%%

main:
| WRITEINT INT { true }

第四个是令牌.mly

%token <string> ID
%token <int> INT
%token <bool> BOOL
%token EOF EOL DEF INTTYPE LPAREN RPAREN WRITEINT
%token PLUS MINUS TIMES DIVIDE
%token LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%token NOT AND OR

%left OR
%left AND
%nonassoc NOT
%nonassoc LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%left PLUS MINUS
%left TIMES DIVIDE
%nonassoc LPAREN
%nonassoc ATTRIB

%{
type token =
  | ID of (string)
  | INT
  | BOOL
  | DEF
  | INTTYPE
  | LPAREN
  | RPAREN
  | WRITEINT
  | PLUS
  | MINUS
  | TIMES
  | DIVIDE
  | LARGER
  | SMALLER
  | EQLARGER
  | EQSMALLER
  | EQUAL
  | NOTEQUAL
  | NOT
  | AND
  | OR
  | EOF
  | EOL
%}

%%

现在,我知道这里有很多未使用的符号,但我打算在我的解析器中使用它们.无论我对这些文件做了多少更改,编译器都会不停地炸毁我的脸.我已经尝试了所有我能想到的东西,但似乎没有任何效果.是什么让ocamlbuild在未绑定的构造函数和未定义的起始符号的过多错误中爆炸？我应该使用什么命令来正确编译程序？我在哪里可以找到有意义的材料来了解Menhir？

Answer 1

更简单的方法是删除Parser/ Tokens分离.正如托马斯所指出的那样,没有必要声明type token = ...,因为它是由%token指令中的menhir自动生成的.

所以你可以定义parser.mly为:

%start <bool> main

%token <string> ID
%token <int> INT
%token <bool> BOOL
%token EOF EOL DEF INTTYPE LPAREN RPAREN WRITEINT
%token PLUS MINUS TIMES DIVIDE
%token LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%token NOT AND OR

%left OR
%left AND
%nonassoc NOT
%nonassoc LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%left PLUS MINUS
%left TIMES DIVIDE
%nonassoc LPAREN
%nonassoc ATTRIB
%%

main:
| WRITEINT INT { true }

并lexer.mll作为:

{
  open Parser
  exception Error of string
}

[...] (* rest of the code not shown here *)

然后删除tokens.mly,并编译

ocamlbuild -use-menhir main.native

这一切都运作良好.

Answer 2

首先,您不需要重复令牌tokens.mly:

%token <string> ID
%token <int> INT
%token <bool> BOOL
%token EOF EOL DEF INTTYPE LPAREN RPAREN WRITEINT
%token PLUS MINUS TIMES DIVIDE
%token LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%token NOT AND OR

%left OR
%left AND
%nonassoc NOT
%nonassoc LARGER SMALLER EQLARGER EQSMALLER EQUAL NOTEQUAL
%left PLUS MINUS
%left TIMES DIVIDE
%nonassoc LPAREN
%nonassoc ATTRIB

%%

然后,我不知道传递给ocamlbuild我的魔术选项,我不太了解menhir,但是,根据我的理解,你需要将所有内容"打包" .mly到一个解析器单元中:

menhir tokens.mly parser.mly -base parser

然后,如果更换出现的任何TokenBYT Parser中lexer.mll,ocamlbuild -no-hygiene main.byte应该工作.但请注意,可能有一种聪明的方法可以做到这一点.