在数据块上运行 spark 时出错：构造函数 public XXX 未列入白名单

Question

我正在使用 azure databricks 并尝试从此页面运行一些示例 python 代码：https ://spark.apache.org/docs/latest/ml-pipeline.html

并得到这个异常： py4j.security.Py4JSecurityException: Constructor public org.apache.spark.ml.classification.LogisticRegression(java.lang.String) 未列入白名单。

谢谢。立东

Answer 1

在启用凭据传递的情况下使用高并发集群时，此错误会出现在某些库方法中。如果这是您的情况，则可能是一种解决方法是使用不同的集群模式。

py4j.security.Py4JSecurityException: ... is not whitelisted 当你访问了 Azure Databricks 未明确标记为 Azure Data Lake Storage 凭据传递群集安全的方法时，将引发此异常。在大多数情况下，这意味着该方法可以允许 Azure Data Lake Storage 凭据直通群集上的用户访问另一个用户的凭据。

参考：https : //docs.azuredatabricks.net/spark/latest/data-sources/azure/adls-passthrough.html