带 pyspark 的 Pylint 会抛出错误警告

Question

我想使用 pylint。但是当我将它应用到使用 pyspark 的代码时，我收到警告“drop_duplicates 不可调用”。如果我将代码从“drop_duplicates”更改为“dropDuplicates”，警告就会消失。如何在不更改整个代码的情况下修复它？我认为 drop_duplicates 更符合 python 风格。我尝试添加 pyspark-stubs，但它没有帮助。

Answer 1

由于 JVM 生成的成员，PySpark 在处理 linting（即使使用存根）时是一场噩梦。

如果您打算忽略这些，您有两种选择：

1. 将以下内容添加到.pylintrc项目根目录中的文件中，并确保 linter 配置为拾取它：

extension-pkg-whitelist=pyspark
generated-members=pyspark.*
ignored-modules=pyspark.sql.functions

2. 每当您运行 lint 时，请使用以下参数运行它：

pylint -j 0 --ignored-modules=pyspark.sql.functions --extension-pkg-whitelist=pyspark --generated-members=pyspark.*

希望这可以帮助。