使用JavaCC解析字符串

Question

我试图想出一种使用JavaCC解析字符串的好方法,而不会错误地将它与另一个令牌匹配.这些字符串应该能够包含空格,字母和数字.

我的标识符和号码标记如下:

<IDENTIFIER: (["a"-"z", "A"-"Z"])+>
<NUMBER: (["0"-"9"])+>

我当前的字符串标记是:

<STRING: "\"" (<IDENTIFIER> | <NUMBERS> | " ")+ "\"">

理想情况下,我只想保存引号内的东西.我有一个单独的文件,我在其中实际保存变量和值.我应该删除那里的引号吗？

我最初在解析器文件中有一个方法,如下所示:

variable=<INDENTIFIER> <ASSIGN> <QUOTE> message=<IDENTIFIER> <QUOTE>
{File.saveVariable(variable.image, message.image);}

但是,正如您可能猜到的那样,这不允许使用空格或数字.对于变量名等标识符,我只想允许使用字母.

所以,我想就如何捕获字符串文字得到一些建议.特别是,我想制作如下字符串:

" hello", "hello ", " hello " and "\nhello", "hello\n", "\nhello\n"

在我的语法中有效.

Answer 1

传递第一个时,"你的解析器想要进入一个STRING状态并将其留在下一个(Bonus:unquoted)".

喜欢:

TOKEN:
{
  <QUOTE:"\""> : STRING_STATE
}

<STRING_STATE> MORE:
{
  "\\" : ESC_STATE
}

<STRING_STATE> TOKEN:
{
  <ENDQUOTE:<QUOTE>> : DEFAULT
| <CHAR:~["\"","\\"]>
}

<ESC_STATE> TOKEN:
{
  <CNTRL_ESC:["\"","\\","/","b","f","n","r","t"]> : STRING_STATE
}

你可以这样使用:

/**
 * Match a quoted string.
 */
String string() :
{
  StringBuilder builder = new StringBuilder();
}
{
  <QUOTE> ( getChar(builder) )* <ENDQUOTE>
  {
    return builder.toString();
  }
}

/**
 * Match char inside quoted string.
 */
void getChar(StringBuilder builder):
{
  Token t;
}
{
  ( t = <CHAR> | t = <CNTRL_ESC> )
  {
    if (t.image.length() < 2)
    {
      // CHAR
      builder.append(t.image.charAt(0));
    }
    else if (t.image.length() < 6)
    {
      // ESC
      char c = t.image.charAt(1);
      switch (c)
      {
        case 'b': builder.append((char) 8); break;
        case 'f': builder.append((char) 12); break;
        case 'n': builder.append((char) 10); break;
        case 'r': builder.append((char) 13); break;
        case 't': builder.append((char) 9); break;
        default: builder.append(c);
      }
    }
  }
}

HTH.