Databricks 中的目录

Min*_*ewa 5 catalog databricks databricks-unity-catalog data-governance

我已经开始阅读 Databricks 推出的 Unity Catalog。我理解它试图解决的基本问题,但我不明白目录到底是什么。

这可以在 Databricks 文档中找到,

目录包含架构(数据库),架构包含表和视图。

https://docs.databricks.com/data-governance/unity-catalog/create-catalogs.html

这个添加的层(在模式之上)有何帮助?我猜这与治理有关?

如果可能的话,我真的很感激一个例子。

Ale*_*Ott 4

实际上,Catalog 是更大对象内的另一个数据管理层 - Unity Catalog Metastore。与目录最接近的类比是单个 Hive Metastore - 它还包含包含表和视图的数据库(模式)。目录可用于将某些实体(业务单位/项目/环境(dev、stagin、prod)/...)的对象与其他实体的对象隔离。您可以将目录的管理权限授予业务部门、项目等的相应管理员,然后他们可以分配对各个架构和表/视图的权限。