我正在读一本书(Bjarne Stroustrup的编程原则和实践).
他在其中介绍了令牌:
"令牌是一系列字符,代表我们认为是单位的东西,例如数字或运算符.这就是C++编译器处理其源代码的方式.实际上,以某种形式"标记化"是大多数文本分析开始的方式."
class Token {
public:
char kind;
double value;
};
Run Code Online (Sandbox Code Playgroud)
我确实得到了他们的样子,但他从来没有详细解释过这一点,而且对我来说很困惑.