Databricks 和 Azure 文件

Question

我需要从Azure Databricks访问Azure 文件。根据文档，支持Azure Blob ，但我需要此代码来处理 Azure 文件：

dbutils.fs.mount(
  source = "wasbs://<your-container-name>@<your-storage-account-name>.file.core.windows.net",
  mount_point = "/mnt/<mount-name>",
  extra_configs = {"<conf-key>":dbutils.secrets.get(scope = "<scope-name>", key = "<key-name>")})

或者是否有其他方法可以将Azure 文件装载到 Azure Databricks 群集或从Azure Databricks群集访问 Azure 文件？谢谢

Answer 1

在 Azure 上，通常可以通过 SMB 协议将 Azure 文件的文件共享挂载到 Linux。我尝试按照官方教程Use Azure Files with Linux通过在 Python 中创建笔记本来执行以下命令来完成此操作，但失败了。

看来Azure Databricks不允许这样做，即使我在Databricks社区中搜索了mount NFS、SMB、Samba等，也没有任何讨论。

因此，访问 Azure 文件中的文件的唯一方法是安装azure-storage包并直接在 Azure Databricks 上使用适用于 Python 的 Azure 文件 SDK。