小编Ash*_*tts的帖子

Databricks Unity 目录上的 DBT

我一直在考虑在我们的主要(唯一)工作区中打开 Databricks Unity Catalog,但我担心这可能会如何影响我们现有的 dbt 负载以及新的三部分对象引用。

我从 dbt-databricks发行说明中看到,您需要 >= 1.1.1 才能获得 Unity 支持。
带有它的代码片段仅显示在配置文件中设置目录属性。我计划将 dbt 生成的对象的一些源放在单独的目录中。

如果可用的话,我什至可能选择将 dbt 生成的对象放在单独的目录中。
由于打开 Unity Catalog 是工作区中的一条单行道,因此我不想即兴发挥并看看会发生什么。

有人将 dbt 与 Unity Catalog 一起使用并在项目中使用了大量目录吗?

如果是这样,是否有任何问题以及如何指定来源和特定型号的目录?

问候,

阿什利

databricks dbt databricks-unity-catalog

7
推荐指数
1
解决办法
1868
查看次数

DBT:有条件地设置架构配置

我正在尝试确定如何有条件地设置架构配置属性。我已经尝试通过 dbt_project.yml 和 schema.yml 中的宏来执行此操作,但这两种方法都失败了:

00:23:19  Encountered an error:
Compilation Error
  Could not render {{get_location_root('lndv')}}: 'get_location_root' is undefined
Run Code Online (Sandbox Code Playgroud)

我想要实现的结果是有条件地为 Spark 的各种模式设置location_root 。我想要每个环境的不同位置。我认为宏路径是最适合的,因为它遵循某种模式,但它显然不适用于dbt_project.yml或属性文件。我使用target.name来确定环境。它与在模型中成功渲染的其他宏位于同一目录中,因此路径设置正确。如果可以避免的话,我真的不想在每个模型中都放置此配置。

有人对我如何解决这个问题有任何想法吗?要么让宏在dbt_project.yml / schema.yml中工作,要么通过其他方法?

问候,

阿什利

dbt

6
推荐指数
1
解决办法
3395
查看次数

标签 统计

dbt ×2

databricks ×1

databricks-unity-catalog ×1