Antlr4在RaspberryPi上变慢

Question

我们正在尝试使用Antlr4(Python2目标)在RaspberryPi B上解析自定义语言.但是,做任何严肃的事情都太慢了:解析几行需要大约十秒钟.这是我的代码:

Transposeur.py:

# -*- coding:Utf-8 -*-

from antlr4 import *
from TransposeurLexer import TransposeurLexer
from TransposeurParser import TransposeurParser
import sys
from Listener import Listener

def transpose(file_path):

  input = FileStream(file_path)
  lexer = TransposeurLexer(input)
  stream = CommonTokenStream(lexer)
  parser = TransposeurParser(stream)
  tree = parser.myfile()
  listener = Listener()
  walker = ParseTreeWalker()
  walker.walk(listener, tree)
  return listener.array

Transposeur.g4:

grammar Transposeur;

myfile: block+;

block: title
     | paragraph
     ;

title: firstTitle
     | secondTitle
    ;

firstTitle: '#' ' '? unit+ newline;
secondTitle: '##' ' '? unit+ newline;

paragraph: unit+ newline;

unit: low+
    | upper
    | (low | cap)* cap (low | cap)*
    | ponctuation
    | number
    | space
    ;

upper: cap cap+;
number: digit+;

low: LOW;
cap: CAP;
newline: NEWLINE;
ponctuation: SPACE? PONCT;
space: SPACE;
digit: DIGIT;

LOW: [a-z] | 'ç' | 'é' | 'è' | 'à' | 'â' | 'ê' | 'ù' | 'î' | 'ô' | 'û' | 'ë' | 'ï' | 'ü' | 'œ';
CAP: [A-Z];
NEWLINE: '\r'? '\n';
SPACE: ' ';
DIGIT: [0-9];
PONCT: ',' | '!' | '?' | ';' | '.' | ':';

需要时间的命令是tree = parser.myfile().有没有办法让事情变得更快？

Answer 1

我怀疑它在解决低+ vs(低|上限)*......的情况下遇到问题,因为它可能需要任意向前看,以确定应用哪种减少.

我认为真正的问题是你的单位+参考对于低+而言是模棱两可的.鉴于单位的文本包括:

      aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa

(五十"a").人们可以用以下方法解析:

• 一个单元具有低+所有的"a"的S,
• 单位单位,任何前缀的第一个低+,以及"a"的其余部分的第二个低位+(2500个可能性)
• 单元单位单元具有第一低+任何前缀的,最后的低+任何剩余的后缀,和中等低+之间的字符(方式,方法更多的可能性)
• 单位单位单位 ...

所以我认为你的语法的这一部分是非常模糊的,ANTLR正在探索选择一个的巨大选择空间.你可能很幸运,ANTLR足够快完成: - }

你会遇到单位+和上限(== 上限+)同样的问题.

我不清楚你真正需要捕获的单位结构有多少.它看起来像你只是想要一个字符串.尝试将其重新编码为:

unit: low
    | cap
    | ponctuation
    | number
    | space
  ; 

更好的是,以这种方式定义单位:

unit: LOW | CAP | PONCT | DIGIT | SPACE ;