Ani*_*han 3 compiler-construction lexical-analysis
我正在阅读这个问题的答案. 我似乎无法找到答案,为什么会有人需要一个词法分析器分开
这是程序在编译过程中经历的步骤之一吗？有人可以用简单的语言解释为什么我需要一个词法分析器,它会用于什么目的？
词法分析器将获取输入字符流并将其转换为标记.
这可以用于各种目的.您可以将变换应用于词法,以进行简单的文本处理和操作.
或者,lexemes流可以被提供给解析器,解析器将其转换为解析器树.
如果目标是编译,那么词法分析是第一步.将其视为较低级别的步骤,它将字符转换为标记.解析器是一种更高级别的机制,其字母表由令牌(由词法分析器创建)组成,它解析并创建一个解析树.
如果目标是文本操作,那么操作规则可以应用于词法本身.