在Azure Databricks中从ADLS Gen2加载文件时出现间歇性HTTP错误

Question

我正在一个间歇HTTP当我尝试加载文件的内容错误Azure Databricks的ADLS Gen2。已使用与Databricks相关的服务主体挂载了存储帐户，并已Storage Blob Data Contributor通过RBAC对数据湖存储帐户进行了访问。要加载的示例语句是

df = spark.read.format("orc").load("dbfs:/mnt/{storageaccount}/{filesystem}/{filename}")

我收到的错误消息是：

Py4JJavaError：调用o214.load时发生错误。：java.io.IOException：GET https://{storageaccount}.dfs.core.windows.net/{filesystem}/{filename}?timeout=90StatusCode = 412 StatusDescription =不满足使用HTTP条件标头指定的条件。
ErrorCode = ConditionNotMet ErrorMessage =不满足使用HTTP条件标头指定的条件。
RequestId：51fbfff7-d01f-002b-49aa-4c89d5000000
时间：2019-08-06T22：55：14.5585584Z

该错误并非与文件系统中的所有文件有关。我可以加载大多数文件。该错误仅与某些文件有关。不知道这里是什么问题。任何帮助将不胜感激。

Answer 1

现在这个问题已经解决了。根本问题是由于 Microsoft 端的更改所致。这是我从 Microsoft 支持获得的 RCA：

在最近的存储租户升级期间，存在错误打开的存储配置。此类错误仅针对最新升级的租户上启用命名空间的帐户显示。解决此问题的方法是关闭特定租户上的配置，并且我们已为所有租户启动了超音速配置部署。此后，我们为 ADLS Gen 2 添加了额外的存储升级验证，以帮助应对此类场景。