小编Axx*_*ion的帖子

如何在 Databricks 中使用 Shutil 压缩文件(在 Azure Blob 存储上)

我训练有素的深度学习模型存在于文件夹中的几个文件中。所以这与压缩数据帧无关。

我想压缩此文件夹(在 Azure Blob 存储中)。但是当我使用 Shutil 时,这似乎不起作用:

import shutil
modelPath = "/dbfs/mnt/databricks/Models/predictBaseTerm/noNormalizationCode/2020-01-10-13-43/9_0.8147903598547376"
zipPath= "/mnt/databricks/Deploy/" (no /dbfs here or it will error)
shutil.make_archive(base_dir= modelPath, format='zip', base_name=zipPath)
Run Code Online (Sandbox Code Playgroud)

有人知道如何执行此操作并将文件放入 Azure Blob 存储(我从中读取文件的位置)吗?

zip shutil pyspark azure-blob-storage databricks

4
推荐指数
1
解决办法
1万
查看次数

如何在现有数据库之上创建具有只读访问权限的 databricks 数据库

我将使用这张图片来形象化我的问题: 在此输入图像描述

Databricks1 在 Databricks 中创建数据库(和表)并将其数据存储在存储帐户中。在Databricks2中我想读取数据:Databricks2只有读取权限。我可以直接读取原始增量文件,但我想创建一个在 Databricks UI 中可视化的数据库和表。我认为它会按以下方式工作:

CREATE DATABASE IF NOT EXISTS datastore_panels
LOCATION '/mnt/readOnlyTraining/tmp/panels/'; 
Run Code Online (Sandbox Code Playgroud)

但这会产生权限错误,尽管 tmp/panels 数据库已经就位。

有没有办法从增量之上的现有资源创建具有只读访问权限的数据库/表?

databricks delta-lake

2
推荐指数
1
解决办法
2636
查看次数