发出列表项错误之间缺少逗号的警告

Question

故事:

当在多行上定义字符串列表时,通常很容易忘记列表项之间的逗号,例如在此示例中:

test = [
    "item1"
    "item2"
]

该列表test现在只有一个项目"item1item2".

重新排列列表中的项目后,通常会出现问题.

具有此问题的示例堆栈溢出问题:

• 为什么我会得到KeyError？
• Python - 列表中冒号的语法错误

问题:

有没有办法,最好使用静态代码分析,在这种情况下发出警告,以便尽早发现问题？

Answer 1

这些只是可能的解决方案,因为我不太喜欢静态分析.

用tokenize:

我最近摆弄了令牌化python代码,我相信它具有在添加足够逻辑时执行这些检查所需的所有信息.对于您的给定列表,生成的令牌python -m tokenize list1.py如下:

python -m tokenize list1.py 

1,0-1,4:    NAME    'test'
1,5-1,6:    OP  '='
1,7-1,8:    OP  '['
1,8-1,9:    NL  '\n'
2,1-2,8:    STRING  '"item1"'
2,8-2,9:    NL  '\n'
3,1-3,8:    STRING  '"item2"'
3,8-3,9:    NL  '\n'
4,0-4,1:    OP  ']'
4,1-4,2:    NEWLINE '\n'
5,0-5,0:    ENDMARKER   ''

这当然是" 有问题 "的情况,其中的内容将被连接起来.在,存在a的情况下,输出稍微改变以反映这一点(我仅为列表主体添加了令牌):

1,7-1,8:    OP  '['
1,8-1,9:    NL  '\n'
2,1-2,8:    STRING  '"item1"'
2,8-2,9:    OP  ','
2,9-2,10:   NL  '\n'
3,1-3,8:    STRING  '"item2"'
3,8-3,9:    NL  '\n'
4,0-4,1:    OP  ']'

现在我们有额外的OP ','标记表示存在由逗号分隔的第二个元素.

有了这些信息,我们可以generate_tokens在tokenize模块中使用非常方便的方法.方法tokenize.generate_tokens(),tokenize.tokenize()in Py3,有一个参数readline,一个类文件对象的方法,它基本上返回该文件的下一行,如对象(相关答案).它返回一个带有5个元素的命名元组,其中包含有关令牌类型,令牌字符串以及行号和行中位置的信息.

使用这些信息,理论上可以循环一个文件,当OP ','一个列表初始化中没有(通过检查令牌来检测其开头NAME,OP '='并且 OP '['存在于同一行号上)时,可以在其上的行上发出警告被发现了.

这种方法的好处在于它的推广非常简单.为了适应发生字符串文字连接的所有情况(即,在"分组"运算符内(), {}, []),您检查令牌是否为type = 51(或者对于Python 3为53)或者(, [, {同一行中存在任何值的值(这些是粗略的) ,顶部的建议atm).

现在,我不确定其他人是如何解决这些问题的, 但 看起来它可能是你可以研究的东西.所有必要的信息都是由提供的tokenize,检测它的逻辑是唯一缺失的.

实现注意:这些值(例如,for type)在不同版本之间有所不同,并且可能会发生变化,因此需要注意这些值.但是,可以通过仅使用令牌的常量来利用这一点.

用parser和ast:

另一个可能更繁琐的可能解决方案可能涉及parser和ast模块.字符串的串联实际上是在创建抽象语法树期间执行的,因此您可以在那里检测它.

我真的不希望转储的方法全力输出parser,并ast说我要提,但是,只是为了确保我们在同一页上,我将使用以下列表初始化语句:

l_init = """
test = [
    "item1"
    "item2",
    "item3"
]
"""

为了生成解析树,请使用p = parser.suite(l_init).完成此操作后,您可以使用p.tolist()(输出太大而无法添加)来查看它.你注意到那是什么会有三个不同的三项str目标item1,item2,item3.

另一方面,当使用node = ast.parse(l_init)和创建AST时,只有两个条目:一个用于连接s ,另一个用于另一个条目.ast.dump(node) stritem1item2item3

所以,这是另一种可行的方法,但正如我之前提到的那样,它更加乏味.我不确定行信息是否可用并且您处理两个不同的模块.如果您想要在编译器链中更高级地使用内部对象,请将其作为背景思考.

结束评论:作为结束语,tokenize在这种情况下,这种方法似乎是最合乎逻辑的.相反,它似乎pylint实际上与astroidpython lib一起使用,它简化了对Python代码的抽象语法树的分析.因此,理想情况下应该看一下它以及如何在pylint中使用它.

注意:当然,我可能完全过度分析它,并且你们建议的更简单的"检查空白或换行"解决方案就足够了.:-)