令牌化模块中的Python 2换行标记

Question

我tokenize在Python中使用该模块,并想知道为什么有2个不同的换行符号:

NEWLINE = 4
NL = 54

任何产生两个令牌的代码示例都将受到赞赏.

Answer 1

根据python文档:

tokenize.NL
用于表示非终止换行符的标记值.NEWLINE标记表示Python代码逻辑行的结束; 当在多个物理线路上继续执行逻辑代码行时,生成NL令牌.

更多信息:https://docs.python.org/2/library/tokenize.html