如何访问 databricks initscript 中的机密

Question

我尝试访问{{secrets/secrectScope/Key}}databricks 集群的高级选项卡中的秘密，它工作正常。但是当我尝试在 databricks init 脚本中使用相同的内容时，它不起作用。

做到这一点的步骤是什么？

Answer 1

关于秘密引用（所谓的“秘密路径”）的语法，另一个答案是正确的，但它不适用于 init 脚本，尽管它适用于 Spark 代码本身。

要将密钥传递给 init 脚本，您需要将密钥路径放入Spark 配置选项卡的“环境变量”部分，如下所示：

之后，您可以在初始化脚本中按名称使用变量：

if [ -n "$SECRET_VAR" ]; then
  do_something_with_it
fi

Answer 2

以下是在 databricks initscript 中访问机密的步骤：

1. 进入集群
2. 单击集群信息旁边的编辑。
3. 在“配置集群”页面上，单击“高级选项”。
4. 在Spark选项卡上，输入以下 Spark 配置：

示例 ini 代码：

 fs.azure.account.auth.type.chepragen2.dfs.core.windows.net OAuth
 fs.azure.account.oauth.provider.type.chepragen2.dfs.core.windows.net org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider
 fs.azure.account.oauth2.client.id.chepragen2.dfs.core.windows.net {<!-- -->{secrets/KeyVaultName/ClientID}}
 fs.azure.account.oauth2.client.secret.chepragen2.dfs.core.windows.net {<!-- -->{secrets/KeyVaultName/ClientSecret}}
 fs.azure.account.oauth2.client.endpoint.chepragen2.dfs.core.windows.net https://login.microsoftonline.com/<Directory_ID>/oauth2/token

有关更多详细信息，请参阅Azure Databricks - 配置群集以从机密范围读取机密。