tokenizer.py 中的 NL 和 NEWLINE 有什么区别？

Question

我正在尝试为 Java重写tokenizer.py，以便我可以在 Java 中解析 Python，但我不明白源代码NL和NEWLINE源代码之间的区别。他们似乎是同一件事，但如果他们这样做了，那么哪里有两个令牌？

Answer 1

一些谷歌搜索提供了这个答案：

用于指示非终止换行符的令牌值。NEWLINE 标记表示 Python 代码逻辑行的结束；当逻辑代码行在多个物理行上连续时生成 NL 令牌。

如此处所述：

https://docs.python.org/2/library/tokenize.html

更深入的信息可以在这里找到：

tokenize 模块中的 Python 2 换行符