如何在PHP中构建一个tokenizer？

Question

我正在建立一个学习基本编程的网站,我将使用伪语言,用户可以在其中提交代码,我需要解释它.但是我不确定如何在PHP中构建一个tokenizer.

有一个像这样的片段:

a = 1
b = 2
c = a - b

if(a > b) {
    buy(a)
    } else {
    buy(b)
    }

我该如何将这些代码分成令牌？

-

这就是我现在正在尝试的事情:

$tokens = array();

// First token (define string)
$token  = strtok($botCode, '=');
$tokens[] = $token;

// Loop
while($token) {
    $token  = strtok('=');
    $tokens[] = $token;
}

然而,我还没有弄清楚如何使用strtok与常规表达式列表...我可以做类似于strtok但是接受数组作为带有substr和strrpos的针但是在我看来它应该是可能的用strtok做的,因为它专为此而设计.任何信息或指向正确的方向将不胜感激

Answer 1

不要等待strtok的一些魔法.它类似于preg_split.

我想你想要建立自己的词法分析器.所以你可以使用文章用PHP或其他东西编写一个简单的词法分析器.